Retenue sur caution pour départ antérieur au préavis

Bonsoir à toutes et à tous,

j'aurais grandement besoin de vos lumières. Voici la situation: j'ai signé un bail de location pour un appartement vide le 18 Juillet 2016 (date d'entrée en vigueur du nouveau loyer) à Bordeaux.

Il y a peu de temps mon propriétaire a changé et j'ai donné mon préavis de départ des lieux au nouveau propriétaire. Il a reçu et accepté le courrier stipulant que je libèrerai les locaux pour le 15/01/2018 soit 3 jours avant la date de renouvellement du loyer (je voulais être sympa et lui "offrir" 3 jours pour commencer les travaux qu'il comptait effectuer pour sa fille, la nouvelle occupante des lieux. Il a reçu et accepté ce préavis plus d'un mois avant la date annoncée, conformément à la loi sur les zones dites "tendues".

Je reçois donc un mail de ce dernier aujourd'hui, suite à une relance de ma part pour le virement de la caution, où il me raconte vouloir déduire 10 jours de loyer (soit 200€ quand même pour un étudiant) car j'ai effectué mon état des lieux de sortie le 7 Janvier et remis les clés à l'agence immobilière le même jour au lieu du 15 Janvier annoncé, ce qui a retardé les travaux qu'il prévoyait.

Il précise : "vous avez certes libéré l'appartement au 7 janvier; j'avais cependant pris mes dispositions de mon coté pour commencer les travaux à la date de préavis que vous m'aviez donné, et ils n'ont pu être anticipés, ce qui décalera de mon côté la location que je supporte par ailleurs sur Bordeaux; je vous propose donc de couper la poire en deux, et de vous retirer 10 jours de loyers de votre caution"

Que dit la loi là dessus ? Puis-je même exiger un remboursement supplémentaire des 3 jours de Janvier non occupés (15, 16, 17) pour lui apprendre un peu à la jouer comme ça ?

Merci pour votre aide, ainsi que pour le temps que vous voudrez bien me consacrer ;)
Bonne soirée !