Mon propriétaire garde la caution

Bonjour,

Je viens vers vous car je ne sais pas quel pourraient être les recours possibles dans ma situation.

J'ai pris possession d'un logement meublé en sept. 2013 (16m²) pour un loyer de 360€ + 40€ de charges (eau, électricité commun, ordures ménagères). Je n'ai en ma possession aucun EDL (ni entrée ni sortie, je ne suis pas quelqu'un de méfiant mais j'aurais du être plus vigilant).

J'ai rendu le logement au 1er mai 2015 et mon propriétaire m'a fait parvenir un courrier dans lequel il m'informait garder l'intégralité de la caution sans aucun justificatif (370€ même) suite à :
- forfait nettoyage (150€)
- 224€ pour (71€ matériel et 153€ de main d'oeuvre correspondant à 16H de travail) pour la peinture jaunie par la cigarette (tout ça pour 16m² ça me semble un peu gros)

Il tient à me rappeler une clause particulière dans le contrat, l'interdiction de fumer dans le logement.

Je suis de bonne foi, je ne m'attendais pas à ce qu'il me reverse l'intégralité de la caution (je fumais, la peinture s'est donc détériorée plus vite). Cependant, la peinture était très loin d'être neuve lors de mon entrée (à voir sur l'EDL si je l'avais mentionné ou non) et il semble qu'il a remis à neuf la peinture sur mon dos après le passage de plusieurs locataires. Aussi, je n'ai aucun relevé d'eau pour les charges locatives.

Aussi que puis-je faire aujourd'hui?
- demander un exemplaire (copie) des 2 EDL
- demander un justificatif pour la peinture (sans diffamer, j'ai un doute sur le travail déclaré pour les travaux réalisés pour ses 4 logements en location)
- demander des justificatifs pour la régularisation des charges locatives (quels justificatifs?)

Aussi, sur la forme : en LRAR?
Dois-je le "menacer" d'aller plus loin (médiateur, tribunal)?

Merci à vous, je n'aime pas les injustices et ce propriétaire semble n'avoir aucun scrupule.