Refus de rendre ma caution

Bonjour,
Il y a 1 an, nous avons louer un appartement, je suis en CDI, ma femme au chômage. Au bout de 3 mois, l appartements est révéler être un gouffre au niveau des factures, à cause de l isolation. Bref, nous avons contacter notre propriétaire, et nous lui avons dit que nous voulions partir. Et que nous allions faire jouer le préavis d un mois, grâce au chômage de ma femme.
Il nous a dit que ça l arrangeais qu on parte vite, vu qu il veut le vendre ( l appartements est actuellement en vente). Nous avons envoyer le préavis le 2 mai et la fin était donc le 2 juin.
Depuis plus aucune nouvelle de lui. Pour l état des lieux, c est l agence qui est venu, ayant aucune nouvelle du propriétaire non plus. L état des lieux c est fait le 29 juin.
Nous avons reçu un recommander samedi 15 septembre, le Le propriétaire conteste notre préavis et donc, il garde notre caution et nous réclame 2 mois de loyer.
Que puis je faire ??? Merci de me répondre.