Ma caution

Bonjour,
En décembre 2007, j'ai dû quitté mon appartement parce ce que j' étais en fin de droit accedic,mon propriétaire à accepter compte tenu de la situation d'écourter mon préavis à 2 mois (accord donné oralement).
A ce jour, il ne m'a toujours pas restitué ma caution, malgrés mes nombreux rappels que se soit par téléphone ou par courriers recommandés AR.
Il a fallu l'intervention d'une assistante sociale pour qu'il daigne réagir.
J'ai donc reçu un courrier simple, me disant qu'il avait dû refaire des travaux aprés mon départ, car l'appartement avait été dégradé aprés l'état des lieux de sortie, qui soit dis en passant ne mentionne aucunes dégradations faites pendant les 2 ans ou j'ai loué l'appartement , mise à part par celles constatées lors de l'état des lieux d'entrée( en faite l'état des lieux d'entrée et l'état des lieux de sortie sont exactement les mêmes).De plus il me fait payer les 8 premiers jours du mois ou j'ai quitté l'appartement,date sur laquelle on s'était entendu,(toujours oralement)car aucun article de loi ne prevoit le droit de quitter la location si l'on se retrouve au chômage et dans l'incapacité de régler son loyer.
Mes questions sont les suivantes, as -t-il le droit de réclamer ce dû alors que lui est dans l'obligation de me restituer ma caution dans les 2 mois qui suivent mon déménagement? quels sont mes droits ?A quels recours ai-je droit sachant que je ne peux me payer un huissier?
Merci de m'aiguiller afin que je puisse agir rapidement .