Remboursement des frais d'agence, logement inhabitable

Bonjour à tous,

Nous sommes un jeune couple de 24 et 25 ans vivant sur Tourcoing.
Après la location d'un appartement, nous nous sommes mis à la recherche d'une maison
à louer sur Tourcoing.
Nous en repérons une avec l'agence Cornil, 605 euros par mois pour 110 m2, un loyer
attractif pour cette surface, nous décidons de la visiter. La visite se passe bien, la locataire est encore sur les lieux, notre dossier est accepté, nous signons le bail le 27 Juin 2013 et l'état des lieux d'entrée est organisée.
Nous nous rendons compte pendant l'état des lieux d'entrée, que là où était placé le lit de l'ancienne locataire, le planché s'est affaissé de 5 cm, durée des travaux estimés par l'expert : 2 semaines, nous ne devons rien installé au premier et au deuxième étage, nous voilà donc obligé de vivre dans 40m2 (soit le salon et la cuisine).
Le mois de juillet, août et septembre se passent sans travaux, le preciosa de la chaudière étant défectueux depuis notre entrée dans les lieux, nous devons souffler dans un tuyau pour avoir de l'eau chaude et surtout le chauffage ne fonctionne pas, le propriétaire semble de bonne fois mais au mois de septembre rien n'était réglé, et je viens de finir de payer des frais d'agences de 605 euros !
Début octobre, les travaux commencent une partie du plafond est découpé, les travaux sont finalement réduit à 3 jours, commençant le vendredi jusqu'au mardi matin.
Arrivée le mardi matin des ouvriers, le propriétaire refuse de reboucher le trou et nous déclare par diagnostic de l'expert qu'il s'agit du champignon mérule, qui est entrain d'envahir la maison (suite à une fuite d'eau dans le logement d'à côté qui a pris feu deux ans auparavant et dont le toit n'a pas était couvert), tout doit-être changé, du torchis sur les murs jusqu'aux bois.
Le proprio nous demande par téléphone de quitter les lieux au plus vite (au vu de la dangerosité du logement).
Nous décidons donc avec le propriétaire de quitter les lieux au 15 novembre 2013, car sans chauffage et un logement à risque, nous jugions bon de partir au plus vite, aucune décharge n'à été signée.
À ce jour nous n'avons, ni lettre recommandée du propriétaire stipulant que nous devions partir, ni rapport de l'expert sur ce mérule.
Le propriétaire nous a fait grâce des trois mois de préavis, mais il appartient à l'agence la décision de nous rendre la caution. De plus nous ne souhaitons pas rendre les clés avant de savoir les démarches à suivre.

Nos questions sont les suivantes :
L'agence a t-elle le droit de nous faire payer le mois de novembre ?
Comment peut-on récupérer les 605 euros de frais d'agence versé pour ce logement insalubre ? Un recommandé sur ce sujet à déjà été envoyé à l'agence mais nous restons sans réponse. L'agence n'ayant pas fait son travail de nous fournir un logement salubre dés la signature du bail.

Merci d'avance