Propriétaire verreux

Bonjour,
Je suis dans une situation dans laquelle je ne sais plus quoi faire.
En décembre 2007, j'ai signé un contrat de location avec une agence immobilière. Toutes les démarches se sont réalisées sans la présence du propriétaire, y compris l'état des lieux d'entrée dans l'appartement. A l'époque, j'étais en colocation avec une amie. Nous avons donc réglé les frais d'agence à l'agence et régler les 2 mois de caution au propriétaire que nous n'avions jamais vu. Chaque mois, nous avons payé nos loyers directement par virement bancaire au propriétaire.
Au bout d'un an, ma colocataire est partie, et mon ami est venu vivre avec moi dans le dit appartement. J'en ai donc informé l'agence qui m'a fait un avenant de bail pour officialiser ce changement.
Tout au long de ces 2 années de location, le propriétaire a augmenté mon loyer en fonction de l'indice de construction mais en se basant sur le loyer + les charges. Est-ce légal?
En avril 2010, en raison d'une mutation pro, j'ai contacté mon propriétaire par téléphone afin de lui annoncer que je partirais fin juin. Ce dernier m'a demandé de venir voir l'appartement car il souhaitait le réintégrer. bien que je n'ai pas encore envoyé ma lettre de départ, j'ai accepté sa proposition. Lors de sa visite, tout s'est bien passé, il est venu avec une entreprise du bâtiment car il souhaitait repeindre les murs verts. (la couleur ne lui plaisait plus...)
1 semaine après, je reçois un courrier de sa part, me stipulant de manière injustifiée que l'appartement était dans un état déplorable et qu'il allait devoir faire des travaux. Il me dit également qu'il viendra avec un huissier de justice, une société de nettoyage et une entreprise du bâtiment le jour de l'état des lieux.
J'ai donc immédiatement envoyé par R A R ma dédit en date du 23 juin, copie à l'agence immobilière. Ce dernier n'est jamais allé chercher le dit courrier.
J'ai donc fait mon état des lieux de sortie avec la responsable de l'agence. Tout était en ordre hormis un menu travail de réparation. Sur l'état des lieux de sortie, est inscrit "Rien à signaler".
Or, je reçois ce jour, un courrier de sa part, cette fois en R A R qui me reproche à peu de chose près les fait du premier qu'il m'avait envoyé. Il ne veut pas me rendre ma caution, et en plus m'envoie une lettre (en fait un mail) que lui avait envoyé pour lui dire que je partais fin juin. Il me reproche donc de ne pas avoir payé la totalité du loyer de juin et rajoute le fait qu'il n'ait pas été prévenu du changement de locataire... J'ai contacté l'agence dont la responsable m'a dit qu'elle avait arrêté de travailler avec cette personne en raison de son manquement à la loi.
Que puis-je faire face à cette situation? Non seulement ce propriétaire veut garder mes 2 mois de caution, mais en plus je me sens insultée. j'ai rendu cette appartement dans un état irréprochable et l'état des lieux le justifie. Je n'ai non plus jamais rien dit quand il a augmenté mon loyer de façon douteuse. Je souhaite vraiment réagir et ne pas le laisser agir en toute impunité! Que me conseillez vous? Merci de votre aide