état des lieux de sortie non réalisé

Bonjour,
je viens vous exposer mon problème. Je viens de quitter mon appartement sur Grenoble. J'avais rendez vous pour réaliser l'état des lieux de sortie avec mon propriétaire, il n'est pas venu je l'appelle, me dit qu'il a completement oublié me propose une autre date, je refuse car j'habite à 2h de route de mon ancien appart.
je lui laisse donc les clés dans la boite aux lettres et lui dit par téléphone que la cabine de douche se coince (3ans que je vis dans cet appart).
il me rappelle le lendemain pour me dire que le bouton du radiateur est cassé (faux car avant de partir j'avais tout vérifié et tout était ok), que la douche ne s'ouvre plus, que des marques de couleurs sont restés sur les radiateurs (vétéments, g nettoyé mais impossible de tout faire disparaitre), qu'il y a de la rouillle autour des plaques (vetusté, eau) bref il a plein de choses à me reprocher et veut retenir de l'argent sur ma caution. Je n'ai pas réalisé d'état des lieux de sortie, alors il me demande de lui envoyer un courrier dans lequel je signifie mon accord pour qu'il retienne de l'argent sur ma caution. Que puis je faire?