Retenue abusive d'une caution

Bonjour, nous avons quitté notre logement au mois de juillet. L'était des lieux de sortie ne démontrait rien d'allarmant (à priori car il n'est pas en notre possession!). L'agence nous a rappelé quelque temps après pour nous dire qu'il n'y avait pas de soucis et nous demander de venir reboucher deux trous au mur que l'on avait oublié .Je précise que le mur en question était abîmé à notre entrée (signalé sur l'état des lieux d'entrée) et qu'on nous avait dit à l'époque (3 ans avant) qu'une entreprise viendrait repeindre ce mur. Rien n'a été fait.
Et là, aux dernières nouvelles, on veut nous retenir 600€ sur une caution de 850€ pour refaire ce mur et reboucher les trous! Pendant notre location, nous avons eu un problème d'ouverture de fenêtre que le propriétaire a pris en charge. L'artisan, en venant faire les travaux, a abîmé les peintures de la fenêtre. Nous l'avions signalé oralement à l'agence. Aujourd'hui, on nous réclame également le coût de ces réparations (inclus dans les 600€).
Est-ce bien normal??? Comment se défendre?
D'avance merci pour vos réponses et votre aide