Comment récupérer tout ou une partie de ma caution

Bonjour à toutes et à tous, j'écris aujourd'hui car je me retrouve dans une situation un peu compliquée, la propriétaire d'un logement que j'avais en location ne souhaite pas me rendre ma caution. 

La location se faisait par le biais d'une agence immobilière, c'est notamment eux qui se sont chargés de toutes les démarches, tel que l'état des lieux et de sortie, la propriétaire n'y était pas, un agent mandaté par l'agence était présent, et n'a pas noté de gros soucis. En partant de ça je pensais récupérer une partie assez importante de ma caution. 

Au bout d'un mois j'ai contacté l'agence car je n'avais toujours aucunes nouvelles, après plusieurs relances, l'agence nie leur responsabilité concernant leur aide dans la restitution du dépôt, ils me disent que ce n'est plus eux qui gèrent le logement et qu'ils n'ont rien avoir avec la caution, et qu'il faut régler cela directement avec la propriétaire. 

J'envoie donc une lettre recommandée à la propriétaire le 27 novembre, elle ne me répond qu'aujourd'hui le 21 décembre (je précise que j'ai remis les clefs du logement le 2 septembre, il s'est donc déjà passé presque 5 mois). 

La propriétaire m'envoie des photos dans un mail du logement en cours de travaux avec des traces de moisissures avancées, le logement est situé en face de la Seine avec une végétation très dense, durant toute la durée de la location nous avons fait de notre mieux pour essayer d'aérer au maximum le logement, en sachant qu'il était de plus très mal isolé, le taux d'humidité était aux environs de 70 à 80%, de plus le logement a subi plusieurs dégâts des eaux, de l'eau de pluie mal évacuée, durant ma location j'ai eu un dégât des eaux, au final j'ai fait un constat à l'amiable avec la propriétaire, l'assurance à tout pris en charge. 

Je ne sais pas quelle démarche effectuer, car elle ne souhaite pas me rendre la caution, (elle veut garder la totalité, ce qui représente 1800 euros), sachant que le seul problème est la moisissure ainsi que l'humidité, et aucun dégât matériel dans le logement. Quels sont les recours ?, que dit la loi à ce propos? , est ce que je m'engage dans des démarches interminables ? 

Je vous remercie pour le temps que vous consacrerez à ma question.