Travaux de rénovation avec accord du proprietaire.

Bonjour,
Nous avons louer un appartement, en très mauvais état ( peinture jauni, tapisseries déchirées, moquettes tachées par l'urine des animaux, trous dans murs).
Le proprietaire a donner son accord (verbal). En échange d'effectuer les travaux nous mêmes le proprietaire nous a "exonérer " d'un demie mois de loyer (soit 440€). Avant d'entamer les travaux, nous lui avons préciser que le montant serais bcp plus élevée, celui ci nous a répondu à l'époque ( toujours verbalement par tel) " oui, ne vous inquiétez pas, nous verrons au moment".
Confiants, nous avons effectuer les travaux:
Dé-tappissage, lessivage des murs et plafonds, ponçage des portes et fenêtres= 15 jours de enduit et rebouchage,travaux pour mettre à "blanc".
Et venue ensuite le temps de poser les tapisseries neuve, peintures des plafonds, portes et boiseries. (Ouf) nous avons pu aménager 1mois après la remise des clefs.
Mais voilà que le proprietaire nous envoi un recommander pour verser le 1 et mois de loyer sans compter le montant de dépense pour remette en état le logement (soit, 1880€ de fournitures, peintures, tapisseries, plancher).
Je précise que le proprietaire ne s'est pas présenter pour la remise des clefs ( remisent par les locataires sortant) et ne s'est pas présenter non plus pour l'état des lieux.
Quand je lui parle de remboursement des travaux, il me répond " vu que le loyer n'est pas élevée, c'est un cadeaux pour vous que vous compenserez avec le temps!"...
Comment faire pour me faire rembourser les travaux qui n'auraient pas du être à ma charge?
Merci de vos réponses.