Dépôt de garantie non restitué en intégralité

Bonjour,
Suite à une différence de nombre de clés entre l'état des lieux d'entrée et de sortie, mon bailleur a retenu une partie du dépôt de garantie pour faire changer une serrure. Nous l'avons découvert par courrier au moment de la restitution partielle du dépôt de garantie. Ils fournissent une facture pour ces travaux en même temps que le chèque de régularisation.
Cependant, ces travaux ont été faits sans jamais nous prévenir (donc sans devis), et après nous avoir affirmé lors de l'état des lieux de sortie que le dépôt de garantie nous serait restitué dans son intégralité.
Existe-t-il un quelconque recours pour ce genre de situation ? Je me doute qu'ils ont la loi avec eux, mais je distingue ici le légal du légitime, sans être sûr que cela ait le moindre poids.
Merci par avance !