Pas d'état des lieux d'entrée

Bonjour,
En arrivant dans mon logement, la personne qui m'avait fait visiter les lieux n'a pas fait d'état des lieux avec moi mais m'a dit de le faire moi-meme et de lui envoyer une copie...ce que je n'ai pas fait
L'appartement étant dans un état lamentable j'ai refait tappisserie et peintures à mes frais. Tout ce que je n'ai pas pu réparer c'est tout ce qui était électricité, par peur de m'éléctrocuter !
Aujourd'hui cela va faire un peu moins d'un mois que j'ai déposé mon préavis.
Bien entendu j'ai déménagé mes affaires et nettoyer l'appart de fond en comble...
Depuis j'ai beaucoup de mal à contacter le propriétaire pour finaliser ma sortie et récupérer ma caution. La seule fois ou je l'ai vu c'est lorsqu'il m'a demander de me rendre sur les lieux parce qu'il devait faire visiter, et là il n'est resté que 5 minutes puis est partis en me disant "on se recontacte.."
Evidemment je n'ai pas réussi à le joindre par la suite,
je suis donc aller le voir dans son "bureau" (petite pice aménagée dans une carrosserie !) pour lui demander ma caution et lui rendre les clefs et là il me réponds que pas mal de choses lui ont déplus lors de sa visite (!!!) et il s'en va en me disant qu'il verra ça plus tard.
Pour moi il est clair qu'il n'a jamais compter me rendre ma caution, mais a-t-il le droit de prétendre que les lieux ont été détériorés sans meme avoir de point de comparaison ?
Peut-il faire un état des lieux de sortie alors qu'il n'y en a pas eu à l'entrée?

Est-ce que quelq'un a déja rencontré ce problème et y-a-t-il une solution?
Je vous remercie par avance, et merci d'avoir lu jusqu'au bout (!)
Salutations