Litige avec propriétaire sur retenue caution

Bonjour,

J'ai loué un studio jusqu'au 31 juillet dernier auprès d'un particulier. A mon départ, je lui ai demandé de me laisser sortir 1 jour plus tard (le 1er août) car je serai à l'étranger le 31 et de faire l'état des lieux sortie le 27/07. La veille de cet état des lieux sortant le propriétaire me dit qu'il ne sera plus disponible à la date convenue et qu'il me fait confiance pour l'état du studio et que je n'aurai qu'à mettre les clés sur la table et partir en claquant la porte.
A mon déménagement le 01/08 j'ai laissé les clés sur la table, claqué la porte. Aujourd'hui (24/08) le propriétaire m'appelle en disant qu'il n'a pas trouvé mon jeu de clés et qu'il me fera payer sur ma caution le remplacement de la serrure et du badge de l'immeuble.

Dans l'absence d'un état des lieux sortant, est-ce qu'il est en droit de m'imputer cette charge pour le remplacement de la serrure? S'il dit aussi qu'il y a des choses dégradées dans le studio devrai-je payer tous les défauts auquels il prétend alors qu'aucun état des lieux sortie n'a été établi?

Merci de votre réponse