Litige sur le préavis de départ après remise des clefs

Bonjour,

suite a une rupture conventionnelle du contrat de travail de mon conjoint, nous avons donné le préavis de départ (d'un mois) de notre logement.

Après réception du courrier recommandé nous recevons un mail nous prévenant que plusieurs visites seraient faites.

Nous restituons les clefs et attendons les deux mois réglementaire pour réclamer notre caution.
Et surprise une semaine après nous recevons un recommandé du propriétaire nous disant qu'étant donné qu'il n'a pas reçu la preuve de la perte d'emploi de mon conjoint (ce qui est faux), le délai de préavis d'un mois ne peut s'appliquer et que par conséquent nous lui devons encore 2 mois de loyer plus les honoraires de l'agence immobilière pour l'état des lieux de sortie et j'en passe...

Ma question est, a-t-il le droit 3 mois après la restitution des clefs de nous réclamer tout ca?
Et quel recours avons-nous pour récupérer notre caution<,

D'avance merci pour vos réponses