Choc thermique dans location

Bonjour,

J'habite depuis un ans et demi avec ma femme dans un petit (20m2) appartement assez mal isolé et donc tres souvent humide malgré une ventilation fonctionnant en permanence et sachant que nous faisons circuler de l'air dans la journée, que nous avons mis des bacs de recup d'humidité et que nous chauffons raisonnablement, des moisissures sont apparues petit a petit et demandent a envahir une bonne partie de l'appartement.C'est un immeuble est surtout utiliser pour des residences secondaires, tous les appartements qui sont autour sont vides presque toute l'année et donc non-chauffés ceux qui n'arrange pas nos problemes.
Nous avons contacter l'agence responsable de notre logement qui est venu constater les degats.Face a nous les responsable nous disent qu'ils vont faire intervenir un expert pour remedier a ce probleme. Solution qui me semble etre la bonne! 15 minutes apres leur depart ils nous appellent de leur bureau et nous annonce que ceci est un choc thermique et que c'est de notre faute et donc a nous de frotter a la javel.(super sur du krepi!)
Sachant que cela n'a pas de rapport avec notre occupation des lieux mais plutot par l'innocupation de tous les appartements autour et de la malfacon des locaux,
Est ce normal que ce soit au locataire de faire ces travaux là a ces frais?
Quel recours avons nous?

Merci d'avance.