Limite séparative

Bonjour

J'ai racheté les parts d'héritage de la propriété de mon Beau Père en 1994. Cette propriété avait été acquise par celui-ci en 1985.
Aujourd’hui j'ai décidé de vendre une partie du terrain pour du constructible.
Je m'en suis donc remis à une agence qui a effectué toutes les démarches nécessaires auprès de la mairie. Aussi, la division a été acceptée, le permis de construire également les panneaux sont affichés sur le terrain.
Un géomètre a procédé a un Bornage contradictoire. Tous les voisins concernés par les limites séparatives étaient présents. Deux ont accepté, un seul refuse alors qu'il a lui même construit la clôture qui nous sépare.
Il revendique aujourd'hui un accord datant de 35 ans, accord passé avec mon beau père qui consistait à construire, en accord, cette fameuse clôture 50 cm en retrait de sa propriété.
Je crois qu'il s'agit plutôt de malfaçons réalisées de sa part qui l'oblige à une telle décision.
1) L’agrandissement de sa maison ne se situe pas à 3.50 m mais plutôt a 2 m.
2) Sa haie séparative ne respectent pas les exigences en la matière et il est obligé de rentrer chez moi pour entretenir sa haie.
Bien qu'il revendique ne pas vouloir nuire à la réalisation de mon projet - alors qu'il s'est permis, avec un de ses collègues géomètres, de rentrer sur mon terrain poser 2 piquets supposés être des bornes, bien que je ne veux surtout pas nuire à nos bonnes relations jusqu'à ce jour que puis je faire ???
Merci pour vos conseils