Litige paiement de la caution - locataire

Bonjour,

je viens de déménager de mon appartement pour des raisons professionnelles et mon propriétaire ne nous rend pas a caution argumentant sur le fait qu'il calcule encore les dégâts dans notre appartement.
Petit récapitulatif: l'état des lieux d'entrée à été fait rapidement avec lui et non dans le détail. Nous n'avons pas pris le temps de noter les quelques petites dégradations déjà faites. Notre proprio ayant décidé de donner la gestion de son appart à une agence et sachant que nous partions, à décidé de faire faire l'état des lieux par l'agence. ET là nous avons pris 2 heures pour tout noter, en détail l'ensemble de la maison. Ce qui a été noté dessus était que tout était en bon état et fonctionnait malgré l'usure habituelle de n'importe quelle habitation.
Suite à cela, je relance mon proprio pour me tenir au courant du versement de ma caution. Il ne décroche pas son téléphone voyant que c'est moi qui appelle. ET 3 semaines après je reçois un mail comme quoi l'appart était dégueulasse et qu'il faisait appel à plusieurs sociétés pour le remettre en état et blablabla. J'essaye de l'appeler pour qu'on en parle et il ne décroche toujours pas.
Je lui ai écris un courrier de mise en demeure pour qu'il me rende la caution et que l'état des lieux ayant été bâclé à l'entrée et pointilleux au retour, par une personne différente, en aucun cas il pouvait m'incriminer les "dégâts" existants.
Depuis toujours pas de nouvelles, je l'ai relancé et il m'a répondu qu'il attendait encore des documents pour facturer exactement le montant des dégâts. Le délai de 2 mois se termine le 1er avril.

Que dois je faire et surtout que puis je faire ?

Je vous remercie par avance pour votre aide !