Bornage existant mais clôture en retrait

Bonjour,

Avons un bornage réalisé en 1992 par un géomètre expert, dans le cadre d'une donation, pour diviser un lot en plusieurs.
Cependant, la cloture d'un des lots a été construite en retrait de la borne (clôture donnant sur un chemin) d'un mètre 50.
Aujourd'hui, un géomètre expert à remis les limites du terrain par rapport au plan du géomètre de base en 1992, carcelui ci fait l'objet d'une donation.
A ce jour, la borne remise tombe 50 centimètres avancer par rapport au poteau actuel.
Sur ce poteau actuel est basé le portail du voisin.
Cependant, nous voulons récupérer ces 1m50 remettre la clôture la ou elle devrait être, mais n'avons pas la signature du voisin sur le nouveau bornage effectué qui reprend exactement celui de 1992.
Pouvons nous reconstruire cette clôture sans son accord.

Merci de votre réponse