Moisissures et dépôt de garantie.

Bonjour,
J'aurais voulu un renseignement, je loue actuellement un appartement qui moisi, nous avons contacté notre propriétaire par recommandé et cela à 3 reprise il est même venu constater mais malgré tout il nous remet la faute sur le dos, verdict il ne fera rien. Nous avons donc pris la décision de partir mais je ne veux pas prendre le risque de respirer les champignons en lessivant les murs, disons que ce n'est pas à moi de le faire puisque son appartement moisi parce qu'il n'est pas isolé et n'est pas aux normes tout simplement.
Que dois-je faire pour récupérer mon dépôt de garantie sans qu'il puisse nous tenir responsable des dégâts survenu?
Merci pour vos réponses.