Comment récupérer sa caution sans état des lieux d'entrée

Bonjour,

nous venons de restitué l'appartement aux 1er mars 2014 au près de l'agence qui gérer les locations de notre propriétaire depuis octobre 2013 avant nous avions à faire avec le propriétaire directement.Nous sommes rentré en février 2012 dans le logement et avons signé un bail que le proprio nous a jamais restitué une copie et a prétendu l'avoir égarer je l'ai relancé les 2 premiers mois pour qu'il viennent faire l'état des lieux d'entrée mais il n'est jamais venu donc nous n'en avons jamais eu.

D'autre part nous nous sommes rendu compte que la toiture de l'appartement avait a plusieurs endroits des fuites que nous avons signalé tout de suite nous sommes resté 2ans dans l'appartement sans action de sa part nous avons donc fait appel a notre assurance mais il n'avait toujours rien fait à notre sorti.
Nous avons fait un état des lieux de sorti avec l'agence mais fondé sur rien du tout.

En plus de tout cela nous avons payé la totalité de notre loyer et n'avons pas été compensé par la suite du mois de caf qu'il lui a été versé directement.
Donc notre ancien propriétaire nous doit le mois de caution de 550€et le montant caf que nous avons trop versé de 170€ environ.

comment faire pour récupérer l'argent qu'il nous doit sachant qu'il n'est pas très sérieux...?