état des lieux de sortie et caution

Bonjour,

Mon ancien conjoint et moi même avons fait un état des lieux de sortie de notre ancienne maison avec un agent immobilier mandaté qui nous a fait signer l'état des lieux mais ne nous a pas remis un exemplaire, attendant les retours et signatures du propriétaire. Nous avons vécu plus de 5 ans avec 3 enfants dans cette maison elle n'a pas été rendue dans le même état qu'à notre arrivée.
Mais il se trouve que le propriétaire nous a renvoyé l'état des lieux en recommandé avec des mentions rajoutées au même stylo et une feuille supplémentaire nous accusant de dégradations ou salissures qui n'ont pas été évoquées lors de notre rendez-vous avec l'agent immobilier. Nous avons fait confiance et nous nous retrouvons avec la caution bloquée et une multitude d'accusations qui sont liées à l'usure notamment. Nous avons quelques torts mais restons de bonne foi. Que faut-il faire ? J'ai renvoyé un courrier de réponse leur signifiant également que j'allais saisir la commission départementale de conciliation...Est-ce la bonne solution ? Merci par avance de vos conseils.