Caution restituée partiellement

Bonjour,
Nous avons loué un appartement pour nos vacances pendant une semaine avec état des lieux d'entrée.
Le jour du départ nous avons fait l'état des lieux de sortie sans problème.
Par contre le propriétaire ne nous a pas rendu notre chèque de caution à notre sortie car il l'avait déjà encaissé ..
Nous lui avons fait faire un courrier manuscrit sur place : Je m'engage à restituer la semaine prochaine la somme ..." mais à rajouter : "sous réserve de découvrir des dégâts ". Alors que l'état des lieux à été fait et signé par les deux parties sans dégradations.
Une semaine plus tard, nous recevons un courrier recommandé avec seulement un chèque d'une partie de la somme nous précisant que le propriétaire a découvert plusieurs dégradation : une rayure sur le pied de la table, du mascaras sur un drap donc frais de pressing .. il nous retient 200 Euros sur les 700 encaissés.
Que devons nous faire pour qu'il nous restitue les 200 euros injustement retirés ?
Merci de votre aide