Fin de bail suite a incendie

bonjour,
j'habitais un logement dans un immeuble géré par un syndic de copropriété. mon logement est réglé directement à un propriétaire privé.
le 30 avril dernier l'immeuble a subit un incendie dans les caves. nous avons tous été évacués. les appartements ont subi des dégats fumées. il n'y a plus ni eau, ni éléctricité, ni gaz. mon assurance est passée et m'a réglé ce qui m'incombait.
ne pouvant réintégrer mon appartement j'ai donc au 30 avril résilié mon contrat de bail, sans préavis avec pour motif que le bien loué n'était plus conforme à ce dont il était prévu initialement.
j'ai trouvé à me reloger dans un autre loyer quelques jours plus tard.
a ce jour, mon ancien propriétaire exige que je lui règle le mois de mai ! le recommandé que je lui avais envoyé m'est revenu "n'habite pas l'adresse indiqué".
et ne veut donc pas me restituer la caution. pour lui je reste locataire de son appartement alors qu'il n'est plus vivable pour mon fils et moi. a ces yeux j'aurai dû prendre un logement provisoire, payé aux frais de mon assurance, et continué à payer ses loyers.... sauf qu'aucune date n'est encore prévue pour la remise en ordre de l'immeuble que ce soit nettoyage ou refection ! je pense être dans mon bon droit concernant les démarches entreprises, savoir résiliation du bail sans préavis.
pouvez-vous m'éclairer à ce sujet ?
d'avance merci beaucoup