Responsabilité humidité - problème de caution

Bonjour,

Il y a quatre mois de cela, j'ai rendu un appartement que je louais depuis un an et demi.
L'appartement était très mal isolé, ce qui donnait lieu à des problèmes d'humidité tels que les murs qui suintent et des taches de moisissures qui apparaissent. Nous devions laver les murs à la javel régulièrement.
Nous nous sommes plaints à plusieurs reprises à nos propriétaire (une agence), qui nous ont seulement conseillé d'ouvrir les fenêtres ou de mettre le chauffage en permanence...
Aujourd'hui, nous avons enfin reçu la caution, qui est incomplète. Il manque plusieurs centaines d'euros... Apparemment, c'est dû aux dégâts causés par l'humidité.
N'est-ce pas de la responsabilité du propriétaire ? Le gros problème me semble-t-il, c'est que nous ne sommes jamais plaints par écrit, uniquement en face à face.
Suis-je en droit de demander le reste de ma caution ?
Merci d'avance pour votre précieuse aide !