Recuperer ma caussion

Bonjour,
j ai un souci qui est que mon proprietaire ne veux pas rendre ma caussion. je ne lui est pas encore rendu les clef car il ma dit quil ne me rendrai pa ma caussion je ne sais pa commen faire. le logement quil mavais louer a etait reconnu inssalubre par arreter prefectorale en 2003 et a mon entrer dans ce logement mon proprietaire ne men a pas prevenue donc apre un an le service de la DDAS est passer pour un control et voir si les travaux avez etai effectuer et c est la que j ai sue que c etai inssaluble donc pendant un an je n est pas verser de loyer au proprietaire suite a une lettre resu par la DDAS. aujourd hui j ai demenager mais je ne sais si le proprietaire va me rendre ma caussion je sais quil a deux mois pour me la rendre mais que a partir du moment que je lui aurai rendu les clef, mais je sais que si je lui rend les clef je n aurai plus de nouvelle de lui donc si quelqu un pouvais m aider... merci d avance