Rétractation de location HLM après attribution

Bonjour;

j'ai récemment reçu de la part de ma mairie une "autorisation de visite" pour visiter un logement social.

Après visite, j'ai renvoyé le coupon-réponse à ma mairie où j'ai coché "Oui j'ai visité ce logement et suis intéressé par ce logement", afin de ne pas me mettre "hors-course" mais sans certitude que je serais vraiment prêt à prendre ce logement si toutefois il m'était attribué, n'étant plus dans le besoin urgent contrairement à quand j'ai effectué ma demande de HLM il y a plusieurs longues années.

Lors de mon envoi du coupon-réponse, j'ai téléphoné au service logement de ma mairie, où je demandais si répondre oui équivalait à un engagement de ma part de prendre le logement, mon interlocuteur me répond d'abord "oui", puis dit ensuite que si vraiment je n'en voulais pas je "pourrais toujours me désister".

Il y peu, le logement m'a été attribué. Je n'ai toujours pas pris de décision quant à y aller ou non, mais je penche de plus en plus pour le NON. J'ai appelé le bailleur social pour leur poser quelques questions notamment les conséquences d'un refus de ma part du logement attribué: la personne était étonnée et me dit un peu vite et agacée que "je me suis engagé à le prendre", "que si je ne le prends pas ils auraient passé ce temps à instruire d'autres candidats qui en avaient davantage besoin".

Sur la notification d'attribution, figure:

"

Conformément à l’article R 441.10 du Code de la Construction et de l’Habitation, nous vous
demandons de nous notifier votre accord sur cette offre de logement dans un délai maximum de 10
jours à réception de la présente par mail : **********
Le défaut de réponse de votre part dans le délai imparti équivaudra à un refus de prendre le
logement.

Une convocation vous sera adressée pour la signature de votre contrat de location dès que le
logement sera disponible."

Je n'ai signé AUCUN bail: le bailleur social en question peut-il me demander dédommagement ou me poursuivre en cas de non-signature du bail?

Quelles seraient les conséquences pour moi de ne pas prendre ce logement qui m'a été attribué?

Que dois-je faire? Je n'en peux plus de cette histoire et de ce yoyo mental permanent qui durent et me torturent depuis réception de cette proposition de logement.

Merci

Cordialement