Peut-on se retracter après visite logement hlm

bonjour j'ai besoin de vos lumières,

hier 05/07/2018, après deux ans d'attente on m'a fait visiter mon premier logement social hlm, nous sommes trois à l'avoir visité. Hors j'avais dix jours à la base pour réfléchir. Hors, la personne qui nous a fait visiter a voulu récupérer directement les trois dossiers avec coupons réponse d'accord pour le logement pour qu'il passe en commission au plus vite (attribution décidée dans une quinzaine de jours). Seulement je ne m'y suis pas sentie bien pendant la visite et l'environnement est très bruyant (travaux jusqu'à 2019 prévu , bus...juste sous la fenêtre)etc et ayant de gros problèmes de santé, j'ai besoin d'un environnement calme. De plus je suis une femme seule et le quartier est"sensible".

Puis je me rétracter ou non? Le souci est que dans la foulée j'ai également envoyé l'accord au SIAL (dont je dépend puisque je suis considérée comme priorisée et je suis hébergée par un ami depuis six mois).
Et si je me rétracte me feront ils une autre proposition ou cela sera t'il mal perçu?

Merci d'avance pour votre réponse...