Construction limite separative et mur mitoyen

Bonjour,


Nous avons déposé un permis de construire pour une construction en limite separative(plu:4m ou limité separative )
Le permis nous a été autorisé, nous avons affiché l autorisation il y a 3mois sur le terrain on n a eu aucun recours des tiers.
On va commencer les travaux mais voilà le voisin avec lequel nous avons un mur mitoyen( aglo de 20cm plus grillage, 10cm chez nous et 10cm chez lui) refuse qu' on touche le mur il veut qu' on commence la construction à 20cm de chez lui.ce qui est différent de notre autorisation.
On lui a proposé de détruire le mur et qu' a la fin de la construction on lui refait un mur contre notre maison de 10cm avec grillage à l identique nos frais.
Il refuse reste sur sa position qu' on doit faire notre construction à 20cm du mur.
Quel recours on a car nous sommes pris par le temps.
Merci de votre aide
Cdt