Travaux après état des lieux de sortie

Bonjour,

Nous étions locataires d'une maison à la campagne pendant 3 ans et malheureusement celle ci n'était pas isolée.
Lorsque nous avons emménagé nous avions constater quelques traces de moisissure derrière des radiateurs et un mur qui semblait humide nous en avons parler aux propriétaires qui nous ont certifié a l'époque qu'il n'y avait aucun soucis a ce niveau là.
Nous avons donc repeint les murs avant emménagement et entretenu la maison pendant tout le temps de la location.
Seul problème c'est que de la moisissure est apparu dans plusieurs pièces et ce phénomène s'est accentué au fil des années malgré le chauffage et l'aération de la maison.
Nous avons évoqué ce fait par telephone des son apparition mais les propriétaires n'ont rien fait.
Ayant marre de vivre dans ses conditions nous avons finalement décidé de déménager et nous en avons reparler aux propriétaires en insistant ils ont finalement fait passer une entreprise qui a constater oralement qu'il y avait un gros manque d'isolation d'où l'apparition de la moisissure et que nous n'y étions pour rien.
L'état des lieux de sortie s'est mal passé et a été fait par un huissier. Maintenant ils me réclament le remboursement des travaux qu'ils veulent effectuer en me menaçant d'aller au tribunal alors que nous avons toujours entretenu la maison et payer notre loyer.
Ont ils le droit et que devons nous faire?
Merci à ceux qui pourront nous aider car les sommes sont extrêmement élevées.