Menace de frais retenu supplémentaires sur le dépôt de garantie

Bonjour,

Mon bailleur, n'ayant pas restitué le dépôt de garantie dans les 2 mois suivant ma sortie d'appartement (et remise des clés en ma possession), me dit m'avoir "offert" les frais de ménage et réparation non décomptés du dépôt de garantie.
Cependant à la suite d'un litige sur le montant du devis d'un changement d'une serrure (lui-aussi arrivé 4 mois après), j'ai contesté le montant du devis excessif (j'ai pu trouver un devis 200€ moins cher en moins de 48h) par LALR, ainsi que réclamé les pénalités de retards qui sont donc de 2x10% du loyer.

Le bailleur m'a dit par oral qu'il allait contacter le serrurier que j'avais trouvé.
En revanche il refuse catégoriquement de me rembourser les pénalités de retard et m'a menacé de déduire du montant du dépôt de garantie le ménage et les travaux effectués qui n'était initialement pas pris en compte lors du calcul du montant du dépôt de garantie restitué.

Je ne conteste pas qu'il y ai eu des frais de ménage et de travaux. En revanche je n'ai reçu aucun justificatif pour ces éléments "offerts".

Est-qu'un bailleur à le droit de déduire des éléments en plus (4 mois plus tard) sur le dépôt de garantie (même si justifiés) sous prétexte que je souhaite exercé mon droit légal de restitution des pénalités de retard?