Litige locataire/propriétaire

Bonjour,

J'ai donné préavis de départ de mon logement en zone tendu avant le confinement.
Le terme arrivant ( 11 avril) et n'arrivant pas à téléphoner à mon propriétaire, j'ai déménagé fin mars pendant le confinement ( sachant que je m'étais renseigné sur le site d'information du gouvernement et auprès de l'agence si cela était possible, et oui, j'étais en situation de fin de bail).
Le jours du déménagement j'arrive enfin a contacter mon propriétaire par téléphone et l'on se met d'accord sur le fait que je respect donc le délai de préavis, et donc que je n'aurais plus de loyer à payer après ce délai ni habitant plus, mais que je garderais les clefs pour les remettre à l'agence à la fin du confinement (11 mai) et procéder avec eux à l'état des lieux pour plus qu'il n'y ai pas de problème, vu que de toute façon l'agence était fermé pendant le confinement.

Aujourd'hui je contacte mon propriétaire au sujet de la caution et celui-ci m'indique qu'il retient la caution et demande complément au motif que, les clefs ayant été rendu le 11 mai, cela correspond à un mois de loyer. Il nie donc donc accord passé.
Faute de preuve et face à la mauvaise foi de mon cocontractant, suis-je contraint de régler la somme demandée ?
Si oui, quel est le moyen le plus sur pour régler cette somme à distance, afin qu'il ne nie ce paiement ultérieurement ? Puis-je passer par l'agence immobilière ?

Cordialement