Le proprietaire ne veut pas me rendre la caut

Bonjour,
je viens de quitter un logement , j'ai demande au proprietaire si il voulait bien me rendre ma caution a mon depart il m'a dit: ok pas de probleme une semaine avant de partir impossible de le joindre; je demenage quand meme et je laisse les clefs dans la boite apres quelques jours j'arrive a l'avoir au tel et il me dit que l'etat de l'appartment ne lui convient pas donc pas de caution je dois preciser qu'il n'a jamais ete fait de contrat n'y d'etat des lieux que j'ai toujours paye par chequesmes loyers en deux mots: si il ne m'avait pas dit ok pour la caution je ne me serais pas engage ailleurs car maintenant c'est avec ma banque que j'ai des problemes de plus si je suis partis c'est a cause de l'humidite qu'il y dans ce logement, j'ai jete des vetements a cause de la moisisure les papiers peints se decollent j'ai achete des absorbeurs d'hmidite a chaque fois que je change de cartouche le bac se remplie en trois jours je suis handicape a + 80°/° "PARKINSON" et j'ai des problemes au niveau des os j'ai un courrier de mon generaliste qui dit qu'il faut que je change de logement le plus vite possible mais lorsque l'on a une pension! et bien pour trouver un logement ce n'est pas facile il le savait et il me tenait j'aurais du faire declare celogement INSALUBRE, mais je me retrouvais a la rue pour moi c est un escroq.
ou faut il aller pur dposer un recours ou une plainte pour esc roquerie et abus de confiance sur une personne faible et diminue du a son handicape merc i par avance car c'est urgent (je n'ai plus de sous)