Transfert logement hlm

Bonjour,
J'ai signé avec le pere de mes enfants un bail hlm il y quelques années, peu de temps après nous nous somme séparés. Compte tenu que moi je pouvais etre hébergée de mon cote avec mes enfants, je me suis enlevee du bail et lui a conservé l appartement pour qu'il puisse recevoir nos enfants. Les enfants sont a ma charge, mais ils vont chez leur pere tres régulièrement et sont notes par l office hlm comme etant presents aussi dans l appartement lord de l enquête sociale pour le maintien dans les lieux bien que non a la charge de leur père . Aujourd'hui je ne peux plus etre hébergée avec mes enfants et je vais me retrouver a la rue assez rapidement . Ayant a ma charge les enfants et les ayant plus souvent que leur père, celui-ci souhaite me laisser l appartement pour que j'y vive avec mes enfants, une vie commune n est aucunement possible je le précise meme pour le bien des enfants ou pour avoir un toit sur la tête. L office hlm l'a informé qu'il ne pouvait pas faire d avenant pour me remettre sur le bail, donc dans ces conditions je pense que je ne pourrais sûrement pas remprendre l appartement a mon nom a son départ ? (je suis tout a fait éligible un logement social). Quelqu'un pourrait m en dire plus et s'il y a une solution? Sachant que mes enfants ont leurs habitudes dans cet appartement, et qu'au depart j'étais notee sur le bail. Merci
Cordialement