Entretien de notre cloture non mitoyenne

Bonjour,
Nous avons construit notre cloture non mitoyenne, justement pour éviter tous ces problèmes de voisinage. La cloture est donc construite chez nous avec preuves à l'appui : le permis de construire fait en mairie avec les plans. Hors notre cloture a besoin d'ètre réparer ( fissures assez importantes) et peinte. Nous avons demandé à notre voisin de pouvoir accéder sur la partie à réparer qui se trouve de son coté. Il veut bien nous laisser réparer mais refuse la peinture sous prétexe que la couleur de notre façade n'est pas assortie à sa maison. Il doit demander l'autorisation à son épouse qui apparement se donne le droit ou pas de nous laisser toucher à notre cloture. Pour couronner le tout ils nous font poiroter ( on attend encore la réponse) en espérant certainement qu'on laisse tomber. Que faire ? PUIS- je réparer et peindre ? Merci