Probléme de location

Bonjour,

j'ai quitté une maison le 7 juillet 2012, après avoir fait l'état des lieux auprès de l'agence. L'état des lieux bien passé ainsi que la remise des clés.
Malheureusement à ce jour, je n'ai toujours pas reçu ma caution après leur avoir envoyer un courrier.
ce matin j'ai reçu un coup de téléphonique de l'agence qui m'a indiqué que de toute façon je ne recevrais pas ma caution mais au contraire que je leur doit de l'argent.
Je comprend plus rien car j'ai même repeins le salon pour que tout sois nickel.
De plus l'agence m'a expliqué que le propriétaire voulais aller plus loin est me faire une procédure et que je n'ai rien à dire. De toute façon il rejete l'état des lieux de sortie
Je ne sais plus quoi faire car j'ai déjà loué d'autre logement et je n'ai jamais eu de problème.
Il prétend que toute la peinture du logement était a refaire hors qu'il n'y avait aucune trace que les joints de la salle de bain sont à refaire.
Sachant que la maison n'a que 5 ans et que la peinture à été faite il y a 3 ans et lors de mon départ il n'y avait aucune trace.
Je ne sais plus quoi faire ...
Merci de me répondre.