Retenue de caution

Bonjour,

Je recherche un texte de loi permettant de prouver à mon propriétaire qu'il est dans l'obligation de me rendre ma caution. Je vais essayer de vous exposer ma situation de façon claire et brève...
Nous étions locataire d'un appartement depuis novembre 2000. Le 4 juillet 2008, nous avons fait parvenir à notre proprio. notre préavis. Le 6 octobre, nous nous rencontrons à l'appartement pour faire l'état des lieux (une entreprise est déjà entrain d'arracher le papier peint qui était déjà là en novembre 2000). Nous avons alors constaté que sous le linoléum de la salle de bain (linoléum simplement posé sur le parquet sans joint empêchant l'eau de se glisser sous le lino), le parquet était pourri sur environs 20cm2.
Le propriétaire à alors refusé de prendre les clefs de l'appartement tant que nous n'aurions pas déclaré un sinistre des eaux à notre assurance habitation. Ce que nous avons fait en sa présence le 6 oct. Nous lui avons donc rendu les clefs du logement le 14 octobre, sans avoir rempli d'état des lieux de sortie.

Mon assurance habitation me répond :
" D'après les éléments que vous nous avez fournis, les dommages concernent uniquement des embellissements (papiers peints, peintures, revêtement de sol,...). De plus, à ce jour, vous n'occupez plus ce logement. Dans te telles circonstances, c'est à l'assureur de votre propriétaire de prendre en charge les frais de remise en état. Pour information, aucune retenue ne pourra être faite sur votre caution pour ces dommages."

Suite à cela, mon propriétaire à fait appel à un cabinet d'expertise agréé qui me fait part de ces conclusions :
" En déposant le revêtement de sol, M. X constatait une forte déterioration du parquet de la salle d'eau avec pourrissement des lames de parquet au pied de la baignoire coté robinetterie. Ces dommages résultent manifestement des projections d'eau à partir de la bagnoire au moment de l'utilisation de la douchette. Ces dommages sont survenues au fil de vos 9 années d'occupation.
Il s'agit de dégradations anormale qui n'ont rien à voir avec une vetusté normale et ne sont pas garanties par les assureurs en dégâts des eaux.
Cela signifie que la réparation des dommages devra être financée par la caution versée au propriétaire au moment de la location et qui est prévue pour ce genre de dégradations.
Les travaux correspondant à la réparation du parquet sont estimées par l'expert à un coût de 675€ TTC"

Suite à ce courrier, nous avons proposé à notre propriétaire de nous rencontrer afin de trouver un accord à l'a miable. Ce dernier nous propose que nous lui payons 475€ au lieu de 675€.
De plus nous savons qu'il a effectué les travaux (plus de possibilité de faire constater par un huissier de justice) et n'est pas en capacité de nous fournir une facture précise des travaux effectués.
Dois je accepter cette offre ou puis je saisir la commission de conciliation ? Y'a t-il d'autres possibilités ?

Merci de votre réponse ! Cordialement,
Aude.