Caution non restitué

Bonjour,
J'ai une question j'espère pouvoir m'exprimer clairement.
Voila avec mon propriétaire nous avons fait l'état des lieux de sortie ou il m'a retenu : un trou sur le lino, un pète sur le lavabo, la gazinière (car porte ne ferme pas bien), un abattant de toilette et la visite annuelle de chaudière que j'avais pas faite. (Jusque-là tout va bien même si un abattant de toilette....bref).
De la il me dit me recontacter pour la caution qu'il me doit donc 210euros.

Je précise que auparavant environ 1 semaine avant. Avec le propriétaire nous avons décidé de porter garant les célèbres "Action logement" donc avec le dispositif "visale" les 3 parties ont bien signé pour.

Action logement n'ayant pas reçu l'EDLS ont décidé d'appeler un serrurier avec mandat d'huissier pour récupérer les lieux (pourtant rendez-vous bien prévu avec le propriétaire) la serrure de base était porte renforcée (donc serrure plutôt chère) action logement a donc remplacé par un bidouillage très mal fait un simple serrure.

Donc le jour de l'EDLS on était tous un peu choqué je dis au propriétaire de voir avec action logement car ce n'était pas normal on était bien d'accord tout les 2 on a rien mis sur papier tout a l'oral donc bien entendu on a pas noté cette serrure dans l'état des lieux sorti car il devait voir cela avec action logement Bref.

QUESTION : ceci est bien correct ? Il devait voir cela avec action logement ou avec moi locataire ? Merci

Suite à cela je le contacte car toujours pas de retour caution. Il me répond qu'il garde la caution en vu de la serrure pourtant on était d'accord (j'aurais du le faire a l'écrit) et surtout que cette serrure n'est pas notée dans l'EDLS!! Est ce normal ? A-t-il le droit de rajouter des frais hors état des lieux de sortie ? Que suis-je faire? (En sachant qu'il a la facture de la serrure mais rien dans EDLS et jai aussi document attestant que la serrure viens de action logement)

Je pense clairement qu'il n'a pas voulu se "battre" avec action logement donc à préféré me faire payer les frais.

Merci pour vos infos!!!!