Soucis caution non rendue

Bonjour,

J'ai loué en collocation via une agence un appartement. Avant de quitter cet appartement, l'agence nous fait part qu'elle ne gère plus l'appartement à partir du 31 décembre 2012. Nous quittons l'appartement le 30 septembre 2012. Après l'état des lieux fait avec le propriétaire (et non l'agence, alors que c'était eux qui l'avait fait à notre arrivée), nous devons faire des petits travaux (peinture) que je fais malgré de nouveaux locataires présent dès l'état des lieux terminé...

Je préviens le propriétaire que les travaux sont terminés. Et je suis sans nouvelle de lui pendant 2 mois et demi. Nous contactons l'agence qui n'arrive pas à le joindre, et elle lui envoi un courrier en disant que si elle n'est sans nouvelle de lui, elle nous rend la caution. Sous cette menace, le propriétaire reprend enfin des nouvelle et me dit qu'il n'a pas eu le temps d'aller voir l'appartement.

Depuis, il me dit qu'il reste des travaux à faire (des trous à certains endroits : comment savoir si ce n'est pas les nouveaux locataires qui les ont fait?...) et il contacte l'agence pour leur dire de bloquer la caution tant que les travaux ne sont pas fait...

Ayant plus de 2 mois de retard, peut-on lui obliger à rendre la caution? avec les pénalités qui vont avec? comment faire pour récupérer la caution sachant que l'agence ne va plus rien gérer?

Merci de vos réponses