Frais non noté sur état des lieux de sortie

Bonjour, locataire pendant 11 ans d'une maison, le propriétaire nous retiens la caution pour des choses a réparer (normal il y en avait quelques unes, des trous, quelques bricoles) mais à rajouter plusieurs choses qui ne sont pas marqué sur l'état des lieux de sortie.

Nous contestons avoir laissé en mauvaise état ou cassées ces éléments.
(Je précise que l'état des lieux à été réalisé par le notaire, les propriétaires vivant a 600 km de la maison en location).

Il nous envoie une lettre nous demandant de rembourser le surplus que cela lui a couté en achat et réparation à son passage récent dans la maison.

Il n'a pas fait constater ces "éléments abimée" par qui que ce soit avant de les remplacer et ne nous a pas prévenu de tout cela avant de les avoir remplacer.

Il n'y a donc aucune preuve de tout cela, comment doit-je faire ?

Dois-je payer ?