Non restitution de caution

Après mon déménagement , mon ex propriétaire a attendu près de 2 mois pour m'envoyer un courrier (non recommandé) pour m'informer qu'il ne me restituerait pas ma caution . Motif invoqué . Je suis parti après un mois de préavis pour raison de santé (certificat médical à l'appui). Il me reproche cela et dans un mail me dit qu'il n'aurait fait aucune difficulté si j'étais parti après 3 mois . Par contre il dit justifier la non restitution par :
1/ le fait que l'etat des lieux a eu lieu le 27 du mois . Or j'ai déménagé (et il le savait ) le 18 mais il a invoqué un manque de disponibilité et il a lui même fixé la date du 27 . Je lui ai règlé en debut de mois le loyer jusqu'au 18.
2/ Il signale des dégradations à postériori (ne figurant pas sur l'état des lieux sortant) et entre autres une bosse sur le cumulus qui l'aurait obligé à le changer. Ce cumulus était en parfait état de marche lors de mon départ. Il m'a joint pour justifier le ,un ticket de caisse d'un magasin de bricolage, non daté. (C'est une photocopie). Renseignements pris, ce cumulus neuf a servi au remplacement d'un hors d'usage dans un autre appartement .(la précédente locataire , une amie, m'a confirmé qu'elle l'avait signalé depuis longtemps . Elle avait déménagé quelque temps avant moi .
3/ il invoque un multitude de trous fait par des pointes et des pitons que je n'ai jamais faits . Il chiffre cela avec une main d'oeuvre ,sans justificatif quelconque.

Je lui ai envoyé une lettre avec AR de contestation , avec sommation de restitution sous quinzaine. Après une semaine je n'ai toujours pas reçu le récépissé .

Plusieurs des 8 locataires de cette cour commune rencontrent la même difficulté avec ce propriétaire .

que dois je faire ?

Merci