Pas d'état des lieux//refus de rendre caution

Bonjour,

En janvier 2010, j'ai loué une studio. Le propriétaire n'avait pas fait d'état des lieux d'entrée. En juillet 2011, lorsque je suis partie, il n'avait pas fait d'état des lieux de sortie, et ne s'est même pas présenté. Il m'a dit : '"laissez-moi votre adresse, je vous la renverrai." Mais au bout de deux mois, je n'avais toujours rien reçu. Au téléphone, il m'explique que j'ai laissé son bien dans un tel état de "saleté" qu'il a dû tout faire refaire.
Plusieurs fois, je lui ai signalé que des tâches noires se formaient dans la salle de bain et sur certains coins du plafond, à cause de l'humidité, et qu'il y avait de la moisissure sur la fenêtre de ma chambre. C'était comme une fine couche de particules noires. Il m'a juste conseillé d'aérer. Ce que j'ai fait. Sans résultat. Les rebords des fenêtres étaient tellement noires, que j'ai dû les frotter à l'éponge. J'ai tenté la salle de bains, avec beaucoup moins de succès.
Concernant la peinture, il n'y avait qu'une seule couche. Je l'ai remarqué lorsque j'ai accroché mon gant de toilette. La peinture avait fondu.
Le jour de la visite, je n'ai rien vu de tout ça. Je l'ai remarqué au fur et à mesure. Malheureusement, je n'ai pas fait de recommandé pour lui signaler tout ça. J'ai vécu dans de nombreuses villes de province, pour faire des CDD, et c'est la première fois que j'ai ça.
N'ayant pas fait d'état des lieux, ni d'entrée, ni de sortie, a t-il le droit de refuser de me rendre ma caution?