Ancien propriétaire malhonnête

Bonjour,
Je vous expose mon problème.
Avec mon co joint nous avons trouver un nouveau logement car j'attends un enfant , celui auquel nous étions était un studio et etait insalubre (moisissures , souris , manque d'isolation phonique et thermique etc )
Le propriétaire n'a jamais effectué de travaux pourtant il était bien au courant de la situation.
Des lors que nous avons trouvé un nouveau logement nous l'avons prévenu en lui disant qu'on prenait un mois de préavis suivant l'urgence de la situation il a donc accepté et j'ai donc envoyé une lettre recommandé avec AR .
Le propriétaire c'était donc arrangé avec mon conjoint pour qu'on récupéré la caution lors de l'État des lieux en contrepartie on s'engager a s'occuper des visite pour qu'il n'ai pas a se déplacer.
Le jour de l'État des lieux il lui a dit clairement qu'il avit deux mois pour la rendre donc il ne l'a rendrait pas.
Et lui a dit clairement que si on ne lui trouvait pas de nouveau locataire on n'aurait a payer le mois de juillet or le préavis s'est fini le 3 juillet.
Aujourd'hui celui ci nous a envoyer un mail en nous disant qu'il ne nous rendrait pas la caution et qu'il déduirait le mois de juillet et qu'on aurait a payer en plus le mois d'août car pour lui c'est trois mois de préavis.
Or l'État des lieux à été signé , rien n'a été endommagé il était identique a celui d'entrée.
Je ne sais pas quoi , je sais qu'il est en fraude mais dur.
Je suis vraiment pas bien cela m'engoisse beaucoup.
Que puis je faire ?