Qui doit payer et effectuer la peinture?

Bonjour,

Mon petit ami et moi avons emménagé il y a un an dans un appart.
Il était très sales (nous étions 5 pour nettoyer 60m 2 et il nous a fallu toute la journée).
Je vous épargne les détails.
La fibre de verre était abimée et criblée de trous, alors avec l'accord du propriétaire (il a été stipué sur l'état des lieux que nous referions la peinture), nous avons refais la peinture à nos frais.
Nous quittons l'appartement dans un mois.
La peinture ne plait pas au futur locataire.
Le propriétaire exige que nous refassions à nouveau la peinture à nos frais.
Sinon il veut la retenir sur notre caution.
En a t il le droit?
Que pouvons nous faire?
Avons nous le droit de ne pas verser notre dernier mois de loyer pour etre sur de récupérer notre caution (500 euros)sachant que nous avons remis cet appart en état?