Rappel de charges après sortie du contrat de bail

Bonjour,
Je suis sorti de mon contrat de bail d'un appartement neuf qui a subit 1 dégât des eaux dans les semaines où je suis arrivé.
Je suis resté près d'un et demi dedans et j'avais relancé plusieurs fois le syndic de la copropriété qui est la gestion locative. Ils avaient venir des personnes travaillant pour l'assurance du promoteur et l'autre je ne sais plus quelle partie.
Après cela un peintre est venu et à fait un devis qui leur a été envoyé. J'ai du relancé une 10ene de fois (mail écrit) la gestion locative à partir de quand ils allaient intervenir pour faire les travaux. Ils me disaient que c'était l'assurance du promoteur qui prenait en charge et qu'ils avaient pas d'autres infos...Bref pour résumer à partir du moment où j'ai occupé les lieux jusqu'à ma sortie la salle de bain avait des coins de mur moisis qui dégageaient une odeur nauséabonde.
Aujourd'hui cette gestion locative ma prélevé mon chèque de caution dans l'intégralité pour retenir le surplus de charge que je leur dois et le reste qui s'élève à 1600€.
Comme a aucun moment ils ont procédé a une régularisation annuelle j'ai pu demandé de lisser sur 12mois...j'ai commencé à payer les 3 premiers mois mais je vous avoue que financièrement ce n'est pas trop ça et je l'ai en travers de la gorge sur le fait que je dois payer un rappel de charge d'un appartement que je n'habite plus et dans lequel je n'ai pas pu jouir pleinement des lieux... Est ce que je peux faire un recours en justice? La gestion locative m'a fait un mail en me disant que je dois payer le reste sinon mise en demeure et utilisation d'un huissier pour récupérer le solde....
Au vu des faits ne serait pas possible d'effacer ce rappel de charge comme j'ai subit un trouble de jouissance en tant que locataire?