Problème de caution/dégat des eaux

Bonjour,
j'ai un problème de caution avec mon agence qui ne veut pas me la rendre. En effet, j'ai remarqué un petit dégat des eaux quand j'ai quitté l'appartement et je l'ai donc signalé à l'huissier à l'état des lieux de sortie. La cause du dégat a été identifié, à savoir un joint moisit sur la baignoire. Le problème c'est que ce joint avait été signalé comme noircit et donc endommagé à l'état des leiux d'entrée, je ne vois donc pas pourquoi je serai fautif, puisque la cause était la avant que j'arrive. De plus, je suis resté peu de temps dans l'appartement (huit mois). L'agence continue de me répéter que pour eux un joint noircit est un joint présentant des traces d'humidité. Mais dans ce cas, je ne vois pas comment en si peu de temps, le joint a pu passé de ''seulement avoir des traces dhumidité) à un joint complètement pourri. C'est donc un problème d'interprétation ici. De plus, ma vraie question est de savoir si la caution rentre en ligne de compte dans ces cas là, puisque normalement ce sont nos assurances qui prennent en compte un dégat des eaux. De ce fait, je peux faire jouer mon assurance et eux pourraient pareillement faire jouer la leur. Je me demande donc si ils ont le droit de me retirer ma caution pour un problème comme celui-ci. J'aimerais donc svp que vous m'éclairiez à ce sujet et que vous m'aidiez à trouver la démarche à suivre, car je suis un peu perdu, nous tournons en rond depuis déjà un mois.
Merci d'avance pour vos réponses
Mathieu