Remboursement de la caution

Bonjour,
Je suis propriétaire d'un logement que j'ai mis en location depuis 4 ans.Le logement venait d'être repeint et en parfait état. Le locataire m'a donné son dédit et je suis allé faire une pré-visite du logement et je constate que le logement n'a pas été entretenu, les wc et la douche sont noirs de calcaire et il y a un grand coup de nettoyage à faire des murs au plafond.
Puis-je lui retenir une partie de la caution pour le ménage que je vais faire moi-même?
Merci pour votre réponse

Cordialement