Constructiond'un mur en limite de cloture

Bonjour,
Mon nouveau voisin (propriétaire d'un terrain de 12 m de façade) à coté de mon jardin vient d'obtenir un permis de construire. Il va construire sa maison en limite de ma cloture (dont je suis propriétaire, bornage géomètre existante).
Cette cloture anciennne, est constituée d'un mur de soubassement (50 cm) et d'un grillage rigide (1 m ) sur une longeur de 30 mètres.
Mon voisin (maître d'ouvrage) sur instruction de son constructeur me demande l'autorisation écrite d'enlever le grillage de ma clôture sur 20 mètres, le temps de construire son mur, de le crépir puis remettra le grillage.
La clôture est en état actuellement mais est ancienne, je ne suis pas sûr qu'il pourra la remettre comme elle est actuellement. (laisser un grillage ancien quelques mois par terre, les poteaux en fer scellé dans le mur de la cloture sans grillage qui pourront être abimés par les ouvriers?).
Je sais que je dois lui laisser l'accès par mon terrain pour qu'il puisse effectuer ses travaux mais je ne suis pas d'accord pour en supporter tous les inconvénients. A ce jour, ce dernier ne me propose aucune autre solution.
Je souhaiterais pour des raisons de voisinage pouvoir régler cette affaire à l'amiable mais sans en supporter tous les inconvénients.
Que me conseillez-vous de prendre comme précaution, de faire afin de protéger mes intérêts, que dois-je essayer de lui fiare accepter et s'il n'y a pas entente que dois-je envisager comme procédure?
Merci pour votre aide.