Indexation loyer après libération des lieux

Bonjour,
J'étais locataire d'un appartement depuis 5 ans. Nous avons libéré les lieux fin novembre 2006. Lors de l'état des lieux, RAS. Le fils du propriétaire nous a dit qu'il nous rembourserait la caution en totalité dans les 2 mois. Sur conseil de ce propriétaire, nous étions passé par un organisme qui nous a prêté la caution soit 1128 euros. Dons, il devait leur renvoyer directement.
Après 5 ou 6 relances auprès de l'organisme, ces derniers m'ont dit qu'ils n'avaient toujours pas été réglé mais que c'était souvent long et qu'il ne fallait pas que je m'inquiète.
1 an 1/2 après mon départ du logement, je reçois un courrier de l'organisme me réclamant les fameux 1128 euros en me spécifiant que le propriétaire leur avait fourni des documents prouvant que je lui devais plus que 1128 euros et que c'était donc à moi de leur rembourser.
En fait, il leur avait envoyé mes dernières charges d'une valeur de 280 euros environ que je comptais bien sûr régler. Mais, il rajoute une indexation des loyers des 4 dernières années de présence. Dans mon bail, il y a bien sûr une clause d'indexation.
Lors des différents départs des autres locataires, il a fait la même chose mais pour les forcer à payer leur charges et dès que es charges étaient réglées, il laissait tomber l'indexation.
De plus, il me soutient qu'il m'a envoyé les mêmes documents (charges + indexation), or, je n'ai jamais rien reçu et j'ai fait mon suivi d'adresse pendant 1 an.
Ma question est: a-t-il de droit de nous réclamer une indexation de loyer alors que nous ne vivons plus dedans depuis 2 ans?
Vers qui puis-je me tourner sachant que je ne peux pas me permettre de payer un avocat?
Je compte sur vous pour m'aider.