Recupérer ma caution

Bonjour à tous,
je vous explique mon problème. Je loue un appartement depuis bientôt 3ans. A mon arrivé, aucun probleme (voyant) . Au fur et à mesure je m'aperçois que l'appartement est tres humide, aucune isolation (fenetre avec simple vitrage; en bois, donc avec l'humidité elle ne ferme plus tres bien). L'humidité est le probleme majeur. Je me "bats" avec l'agence afin qu'elle s'arrange avec le propriétaire pour que des travaux soient fait, particulièrement sur les fenêtre : car en plus de la mauvaise isolation je suis au chauffage electrique donc paye tres cher pour finalement peu de chauffage. Pour l'instant malgré mon insistance toujours pas de résultats pour les travaux. Recemment la faïence de ma douche s'est mise à tomber (la cause toujours l'humidité), une entreprise envoyé par l'agence est venu faire un devis pour le propriétaire : depuis 3semaines toujours pas de nouvelles.
La personne s'occupant de mon appartement m'a meme avoué que de toute façon à ma sortie l'appartement ne pourrait pas etre reloué, il faudra faire de nombreux travaux.
Ma question est donc : est-ce que j'ai le droit d'exiger qu'il me rende ma caution entièrement à ma sortie (malgré quelques endroits abimés par ma faute (trou dans le lino par exemple)) étant donné qu'ils vont devoir refaire l'appartement à neuf (car insalubre), et devant la nonchalance du proprio puis-je me permettre cela?
j'espere avoir correctement expliquer mon probleme. si vous avez besoin de + d'info n'hésitez pas.
en vous remerciant d'avance pour vos reponse