Frais injustifiés en supplément du montant de la caution

Bonjour,
J'ai emménagé dans une vieille maison datant d'avant 1920, transformée en plusieurs appartements entièrement remis à neuf. D'aspect impeccable il s'est pourtant révélé à terme que les matériaux utilisés étaient de basse qualité, les finitions passables et que certaines normes n'avaient pas été respectées. Je n'ai pas pu faire expertiser la chose mais si les locataires ne restent pas longtemps ce n'est pas pour rien. J'ai quitté cet appartement au bout d'un an car l'isolation phonique semblait inexistante.
Le propriétaire a d'ailleurs l'air habitué aux courtes locations, ne se refusant pas aux colocations, sa principale clientèle étant les étudiants du coin.
Ce dernier, réputé pour garder l'intégralité des cautions, j'ai décidé de ne pas régler la première moitié du loyer du mois où je suis parti (je suis parti le 15), soit la moitié du mois de caution versé lors de la signature du bail. L'appartement étant en très bon état et les dégâts mineurs dus à la vétusté des matériaux de mauvaise qualité (petites rayures sur le parquet, etc...).
Le propriétaire me réclame 1130€ qu'il justifie avec une feuille excel détaillant des prestations pour le nettoyage de l'appartement, le rebouchage des trous au mur (que j'avais déjà fait moi-même, mais qu'il ne jugeait pas assez esthétiques) et bien sur l'entretien de la chaudière et 226€ pour l'eau. Il menace de faire intervenir un huissier si je ne paie pas, mais je n'arrive pas à me justifier les sommes qu'il me réclame. Que dois-je faire?

Merci d'avance.