Plan de bornage mal matérialisé sur terrain

Devant faire un mur de séparation sur mon terrain( autorisation obtenue par Mairie), le maçon me fait remarquer qu'une borne séparative n'a pas été placée à la bonne place par le géomètre parce que un voisin a sa haie et clôture qui déborde sur mon terrain( selon plan de B.) C'est précisé point B à 0,23 de la borne matérielle . Donc on convient de faire le mur jusqu'au point exact, en joignant le géomètre qui confirme, verbalement, son plan, mais ne peut prouver que le voisin ait signé ce plan( ne retrouve pas le dossier) lequel voisin vit ailleurs, est difficile à joindre, j'ai du lui envoyer un courrier ( simple pour l'instant) pas de réponse . Le maçon du coup refuse de faire le mur jusqu'au bout, 23 cms ça peut paraître ridicule ( c'est en ville) mais faisant un nouveau mur, il me paraît logique de le faire au bon endroit, parce qu'après c'est le mur qui va servir de repère pour d'autres .
Puis-je poursuivre en me fiant au plan de bornage, me donne t'il le droit de repoussser la clôture qui empiète sur mon terrain ?
Merci de votre éclairage .