Préavis départ locataire pour travaux

Nous demandons des travaux à notre propriétaire depuis plusieurs années (toiture qui fuit, porte dévorée par les termites etc etc), travaux qui n'ont jamais été faits.
Enfin, il y a quelques semaines, notre proriétaire nous informe qu'il va faire de gros travaux avant qu'un accident n'arrive !!!! et nous demande de prendre nos dispositions pour quitter les lieux.
Devant une telle mauvaise foi, nous décidons de chercher un autre logement, que nous trouvons.
Nous informons donc notre cher propriétaire de notre départ sans donner 3 mois de préavis.
Aujourd'hui il nous rétorque que notre préavis n'est pas valable et ne le prends pas en compte.
Merci de votre aide.