Rembours caution:usure normale ou dégradation

Bonjour,
Avec mes enfants, nous venons de quitter un logement dont nous étions locataires depuis 2 ans, appartement entièrement rénové, donc neuf, avec des murs recouverts de toile de verre peinte en blanc.
Ces murs n'ont subi aucune dégradation, pas de dessin, pas d'éraflures; ils sont simplement, à certains petits endroits, légèrement ombrés, troués de quelques trous de punaises dans les chambres des enfants.
Le propriétaire refuse de me rendre mes 2 mois de caution en intégralité, il prétend devoir tout faire repeindre pour que le logement soit à nouveau neuf et que je ne peux invoquer une usure normale au bout de 2 ans, mais qu'il ne m'aurait rien prélevé de la caution si j'étais restée dans le logement environ 5 ans !!!
Il estime qu'un logement doit être impeccable à l'entrée de chaque locataire, aussi neuf que quand je l'ai loué.
Est-il dans son bon droit? Où est la limite entre usure normale et dégradation? De quels recours puis-je disposer? J'ajoute que je suis veuve avec encore 3 enfants à la maison, profite-t-il de cette situation pour refaire son logement à mes frais??? Merci d'avance pour vos réponses, vos conseils bien utiles et le temps que vous voudrez bien consacrer à me répondre.