Retenue sur Caution abusive

Bonjour,
mon propriétaire a décidé de retenir une somme importante sur ma caution suite à des travaux de peinture qu'il doit selon lui réaliser. De mon point de vue, les murs sont très acceptables, ayant été repeints par mes soins avant mon départ. l'appartement est en parfait état mais il a déclaré que la peinture n'était pas le même "blanc que l'original", qui était un peu blanc crème, alors que celui-ci est blanc clair, et qu'on y voit des traces de rouleaux (tellement légères.....), et que je je suis de toute façon en cause car j'aurais du lui demander avant de repeindre. Dans tous les cas, nous pensions bien faire, et l'appartement n'est pas peint en jaune fluo, et n'est pas non plus dans un état lamentable !!! Il joue sur ce détail et me présente un devis surgonflé (qui n'est pas une facture acquittée) pour justifier qu'il me retient + de la moitié de ma caution... Cela est-il normal ? l'état des lieux de sortie présente juste un commentaire : "peinture -" sans description plus approfondie. Quel est mon recours face à cet abus ? Je précise que les murs de l'appartement avaient naturellement foncé en même pas un an de location (voie ferrée + pollution, pourtant nous sommes non fumeur), que les peintures auraient de toute façon été à refaire mais il insiste sur le fait que cela aurait été à lui d'en juger.. Pouvons nous contrer cela ? merci d'avance...