Acquisition appartement hlm et souhait de mise en location avant 5 ans

Bonjour,

J'ai acheté un appartement hlm, seule, il y a 2 ans.
Depuis cette date, je me suis mariée avec quelqu'un qui n'habite pas ma region et qui ne peut pas me rejoindre.
Je suis maintenant enceinte et je ne peux pas imaginer rester seule avec mon enfant dans ma région. Je souhaiterais donc rejoindre mon mari mais mon contrat d'achat hlm me l'interdit avant les 5 ans d'achat (obligation de residence principale pendant 5 ans).
J'ai demandé une derogation (notaire, office hlm, agent immo...) personne ne sait quoi me répondre. Tous se renvoient la balle et me disent pour seule réponse "comme notifié dans votre contrat, vous avez obligation de vivre dans votre appartement pendant 5 ans".

Connaissez vous une loi ou une solution à mon problème ? Je ne peux pas envisager d'élever seule mon enfant pendant 3 ans... et je ne comprends pas que ce cas de figure ne soit mentionné nul part.
On ne prevoit pas tout dans sa vie... et je n'avais pas anticipé cela. Je me retrouve piégée.

Le divorce est une clause d'autorisation de mise en location avant les 5 ans mais ni le mariage ni la grossesse ne le permettent.
Je ne sais plus quoi faire.

Merci de votre aide.