Caution/ charges, augmentation de loyer

Bonjour,
Je vous contacte car j'aimerai savoir si cela vaut la peine d'aller plus loin pour récupérer ma caution.
En effet, j'ai habité pendant 4 1/2 ans un logement. Au début j'en partageais le loyer avec l'homme qui est le père de ma fille.
Puis, au bout d'un an, il est parti, je me suis donc retrouvée à payer seule mon loyer; j'ai tenu un temps en prenant des crédits, puis j'ai fini par avoir du retard, car j'élève seule mon enfant sans aucune aide financière (même pas de son père).
J'ai fini par avoir la possibilité de quitter cet appartement, j'ai repris un crédit pour pouvoir solder ce que je devais à mon propriétaire (ce qui n'étais pas si facile, compte tenu du fait que sans quittance de loyer, il est difficile d'obtenir un crédit, et mon propriétaire ne m'en a jamais fourni même pour les loyers réglés).
Bref, et c'est là que cela se complique:
J'ai rendu mon appartement dans un bon état général, en ayant changé la moquette dans une chambre juste avant de partir, j'ai refait la peinture, bouché les trous, bref, au bout de quatre ans et demi, l'EDL était bon. Il faut dire que j'avais 1700€ à récupérer!
Le dernier jour, le propriétaire m'a fait remettre un courrier dans lequel il me demande 2666€!!!
Il a augmenter mes loyers chaque année, et il me demande un rappel de charge sur la deuxième année de présence de plus de 1500€.
Il faut savoir que mon loyer se composait, au début, du loyer: 850€, et des charges: 200€.
Les charges comprenaient le chauffage et l'eau, car il n'y avait ni ascenseur, ni gardien, ni espaces verts, juste une personne qui venait le lundi pour sortir les poubelles et donner un coup d'aspirateur, soit une heure /semaine)
Pour la petite histoire, à la fin de la première année, j'ai demandé le récapitulatif des charges, car tout le monde me disait que c'était très cher.
Il m'a remboursé environ 400€, l'année suivante, j'ai refait la même demande, et là, il m'a demandé 1500€ de plus que les 2400€ versés, en évoquant le fait que la personne en charge de faire des relevés pour EDF n'était pas passé faire son travail et qu'il donnait de mauvais chiffres, ...
Bref, cette année là, il ne m'a finalement pas fait payer car je lui ai dit que je ne voulais pas payer ses arriérés sur plusieurs années...
Et maintenant il me les demande à nouveau.

Il faut savoir que ce Monsieur est propriétaire de 42 appartements, qu'il est propriétaire de tout le bâtiment dans lequel j'habitait :2 appartements+ une crèche privée en RDC, au début, qui est ensuite devenue un centre d'accueil médico psychiatrique de jour.
Pour les travaux de transformation de crèche en centre d'accueil de jour, l'alimentation électrique de certains outils se faisait d'ailleurs sur les prises des communs...

Je suppose que mon propriétaire n'est pas très honnête, car après 2 courriers recommandés, il n'est pas en mesure de me fournir autre chose qu'un tableau excel, alors que je lui demande la copie des factures. Je suis dans une situation précaire car je suis seule avec un enfant de 4 ans, et je suis surendettée. Je ne suis pas en mesure de l'attaquer puisque je n'en ai pas les moyens, et je ne peux pas m'absenter de mon travail pour faire d'autres démarches. Il ne m'envoie pas de courriers pour me demander de payer le solde non plus.

Le comble, c'est que mon appartement est de nouveau en location mais moins cher qu'au moment où je l'ai loué en 2007 ! (peut-être est-ce la proximité du centre d'accueil psychiatrique...)

Qu'en pensez vous ?

Je vous remercie de votre aide.