Caution non restituée.

Bonjour, j'ai quitter mon logement le 31 mai 2012 (date de l'état des lieux de sortie) et la semaine dernière n'ayant toujours pas de nouvelle de notre caution nous avons envoyer en recommander un courrier pour en connaitre les raisons puisque RIEN n'a été stipuler dans l'état des lieux.
Notre ancien propriétaire nous a donc répondu par recommander également qu'il ne nous restituait pas la caution car il a du refaire toutes les peintures, hors il savait pertinemment qu'il devrait les refaire puisque le 17 avril je lui est envoyer en recommander un courrier afin de connaitre la référence de la peinture, courrier au quel il n'a pas trouver utile de répondre.
De plus nous avons eu a plusieurs reprises des mots pas très agréable écrit au dos de nos quittance de loyer et là dans la lettre il nous parle de chose qu'il a constater après l'état des lieux ou même des choses que nous avons déjà arrranger et nettoyer.
Que dois je faire a t il le droit de garder ma caution?