Retenue sur caution et remise en état par le propriétaire

Bonjour,
Je me trouve dans une situation compliquée suite au départ de mes locataires.
Ces derniers sont partis en laissant l'appartement dans un état peu correct:
■Trous dans les murs.
■Appartement pas du tout propre.
■Dégât des eaux non réparé (un mur est taché à cause d'une infiltration d'eau parce qu'ils n'entretenaient pas les gouttières).

Enfin bref. Ils s'étaient engagé à le faire avant leur départ.

Les nouveaux locataires arrivaient 3 jours après et je n'ai pas eu le temps de faire intervenir des professionnels .J'ai donc fait toute la remise en état sur mon temps perso.

Dans quelle mesure puis-je retenir quelque chose sur la caution ? Puis-je facturer mon temps (3 jours quand même ! )
Je tiens à préciser que je ne suis pas malhonnête.

Cordialement,