Retenue sur dépôt de garantie

Bonjour,
j'ai habité dans un logement que j'ai loué pendant trois ans. Je viens de quitter ce logement et un problème survient quant à la restitution du dépôt de garantie.

J'ai quitté mon logement le 15 août dernier. J'ai toujours payé les loyers normalement. L'état des lieux d'entrée a été fait normalement.
Au moment de partir mon propriétaire n'a pas pu ou voulu être présent pour faire l'état des lieux de sortie. Je suis maintenant très loin (700km).
Par mail il m'a envoyé un état des lieux de sortie qu'il a fait seul et qu'il voulait que je signe. Cet état des lieux était ridicule, il mentionnait en gros que toute la maison était à repeindre en plus de quelques bricoles à réparer. J'ai refusé de signer et je lui est répondu que la peinture n'était pas en mauvais état. Il est clairement de mauvaise fois car j'avais repeint quasiment toutes les pièces de la maison en arrivant, et sur l'état des lieux d'entrée il est indiqué qu'il y a des traces, fissures, écailles à de nombreux endroits dans la maison. Bref devant mon refus il me répond à son tour que finalement il ne compte me facturer que les zones à repeindre qui correspondent à celles que je n'ai pas déjà fait en arrivant (ben voyons ...), plus le joint de la salle de bain et les bordures de la pelouse (que j'avais tondue alors que le jardin était dans un état "junglesque" lors de mon arrivée mais pas mentionné sur l'état des lieux d'entrée).
En fait le joint de la salle de bain n'était carrément pas présent lors de mon arrivée mais cela n'était pas mentionné sur l'état des lieux d'entrée non plus, mais j'étais d'accord pour qu'il retienne 15 € à l'amiable pour ce joint.

Je dois ajouter que nous avons convenu qu'il retienne le montant du dernier loyer (15 jours) sur le dépôt de garantie.

En l'absence d'état des lieux de sortie signé peut-il retenir plus que ce dernier loyer ? D'après ce que j'ai compris, l'état des lieux de sortie est indispensable à une retenue puisque cela doit se faire par comparaison entre l'état des lieux d'entrée et celui de sortie. Mais ai-je bien compris ?

Pourriez-vous m'éclairer un peu plus ? Si le dépôt de garantie ne m'est pas totalement reversé dans les deux dans ce cas précis puis-je saisir la commission départementale puis le juge de proximité pour obtenir gain de cause ?