Etat des lieux litigieux, humidité!

Bonjour,
Nous venons de quitter notre appartement et notre propriétaire ne nous a pas rendu l'intégralité de notre caution.
Voici la situation:
Sur l'état des lieux d'entrée, il était indiqué que la salle de bain était humide et que l'état de la douche était sale. Après un long ménage nous avons remarqué que le bac de douche était fissuré (mais après les 15 jours de délai). Les joints étaient noirs, le propriétaire est revenu les faire (en passant par-dessus les anciens). Nous avons donc dû refaire les joints nous mêmes par la suite car la moisissure est revenue très peu de temps après. Nous avons donc retiré LES anciens joints. De plus, la chambre était collée à la salle de bain et cet hiver nos vêtements étaient humides quand nous les prenions et notre matelas commençais à pourrir si nous ne le retournions pas tous les 15 jours.
A l'état des lieux de sortie, la personne mandatée ( une personne de l'agence immobilière) nous assure que tout va bien et que le problème d'humidité n'est pas de notre ressort. Seulement cette personne me fait signé l'état des lieux mais refuse de le signer car soi-disant elle n'est pas la responsable des locations et que c'est elle qui REPASSERA SANS NOUS , voir si tout est bien fait! Nous lui disons que nous ne repartirons pas sans un état des lieux signé par elle. Cette personne refuse à nouveau , nous fait la photocopie de l'état des lieux avec le cachet de l'agence mais sans signature. Nous repartons avec ceci sans d'autre choix possible.
Deux semaines plus tard nous recevons une lettre de notre propriétaire avec une facture de douche et une petite partie de caution. Que doit-on faire ? A qui doit-on s'adresser?
Merci d'avance pour vos réponses