Préavis pour appartement insalubre

Bonjour,
Mon ami et moi habitons dans un appartement qui depuis 3 mois moisi dans toutes les pièces ainsi que des champignons qui pousse dans les poutres ! Ayant prévenu le propriétaire, il nous a dis que lors des travaux nous ne payerons pas de loyer ou si nous souhaitons partir nous aurons pas le bail de 3 mois à respecter !

Après réflexion, nous avons décidé de partir (déménagement prévu le 19.01) mais après lui avoir annoncer il refuse de nous laisser partir ou alors en respectant les 3 mois de préavis ! Sachant que payer 2 loyer à la fois est impossible...

A-t-il le droit de nous laisser vivre dans un endroit aussi insalubre?
A qui s'adresser pour pouvoir partir sans les 3 mois de préavis?

Merci de nous aider car nous somme dans une impasse ...