Fin de bail et rendu de la caution

Bonjour,

Fin juin je quittais mon appartement suite à une fin de CDD. J'avais donc un préavis d'un mois. Mon contrat était signé entre mon propriétaire "représenté par" l'agence immobilier et moi. De peur de ne pas l'envoyer à la bonne personne, j'ai fait l'erreur de l'envoyer au propriétaire qui n'habitait pas à l'adresse indiquée sur le contrat. Résultat, n'ayant ni retour de l'accusé réception ni retour de l'agence j'ai appelé 2 semaines plus tard pour prendre rendez-vous. Là j'apprends que l'agence n'est pas au courant et j'ai droit à une remontrance de l'agence pour ne pas leur avoir envoyé à eux. Bref, on fait l'état des lieux fin juillet, le 25 exactement avec une fin de location le 31.
Mi juillet le propriétaire était d'accord pour mettre fin à mon contrat le 31. Le 25 il ne l'était plus, demandant à garder jusqu'à mi aout (un mois après mon appel téléphonique donc) et maintenant la caution entière pour "dommages et intérêt". Pour eux, ma demande de fin de bail n'étant pas en bonne et due forme, c'est normal...
Qu'en pensez-vous, que puis-je faire?