Caution a moitié rendue

Bonjour,
voila j'ai quitté un appartement avec mon conjoint depuis le..... où nous avons vecu 2 ans sans soucis. lors de la visite pour l'etat des lieux et remise des clé l'agence de location Foncia employé par le proprietaire, nous a dit que tout était ok et qu'il n y avait que quelques bricoles comme un peu de peinture mais vraiment rien de grave donc il etait logique qu'il nous retienne un peu de la caution mais pas au point de nous retenir la moitié pour des dégradations que nous n avons pas faites.
en effet apres cette fameuse visite sans soucis apparent pour l'agence nous sommes passé devant l'appartement pour voir si il restait du courrier et un homme était dans l'appart c'etait le proprietaire qui nous a insulté de tous les noms en disant qu'il ne reconnaissait plus l'appart, que les couleurs des volets n'etait pas comme ça, qu'il y avait un bidet dans la sdb toilette alors qu'a notre entrée dans l'appart il n'y etait pas...toutes les modifications deco et brico qui ont été faite date de l'ancien locataire et maintenant on nous en tient rigueur alors qu'il y a eu un etat des lieux quandf il a rendu l'appart alors l'agence devait bien savoir ce qu'il avait fait
nous sommes jeunes avec peu de moyen et 500euros ça nous fait un sacré trou dans le budget surtout quand ce n'est pas justifié.ils on fait un papier montrant toutes les reparations a faire et la somme retenue soit les 500e.

que faire ??? nous voulons qu'ils reconnaissent que ce n'est pas nous les fautif mais l'ancien locataire et l'agence foncia de mauvaise foi
nous avons vu l article 22 de la loi du 06/07/1989 modifié par la loi n°2008-111 du 8 fevrier 2008-art.10 (V) puis je l'utiliser?
aidez nous s'il vous plait