Déni de l'accord oral sur la réduction du préavis

Bonsoir
Suite à une séparation, un accord oral avait été convenu avec mon ancien propriétaire afin que le préavis soit réduit à un mois.Nous avons fait l'état-des-lieux à la fin du mois
La personne devant reprendre l'appartement(un ami du proprio) ayant fait machine arrière,il ne veut pas me rendre ma caution et me réclame un mois de loyer.
Je n'ai malheureusement pas de preuve écrite de notre accord (je fais malheureusement trop confiance à la parole donnée), juste l'état des lieux et ma bonne foi.
je peux juste prouver que j'ai déménagé dans la meme ville et donc je n'avais aucun intéret à payer un 2eme loyer durant ces 2 mois .
Lui a fait jouer son assurance qui maintenant me reclame cette somme