Le bailleur social refuse de me faire visiter

Bonjour suite à une demande HLM, j'ai reçu une proposition avec la description du logement et un numéro de tél afin d'établir une visite avant le 25 mai 2013, j'ai donc appelé pour obtenir un rdv de visite et l'on m'a répondu que je devais rappeler lundi car la personne en charge de mon dossier attendait une réponse de la mairie du logement à visiter. Je ne comprend pas ce que la mairie vient faire alors j'ai appelé la mairie qui m'a dit qu'elle ne s'occupait pas de cela.
Donc après avoir reçu une proposition de logement le bailleur social peut il ne pas donner suite et refuser de me faire visiter si oui pourquoi et quels sont mes recours ?