Bornage invalide

Bonjour,

Nous sommes propriétaires d'une ancienne ferme. Lorsque nous avons acheté notre bien, la propriété avait été morcelée pour être vendue à différents acquéreurs.
Il se trouve que de notre cour (façade de la maison), pour accéder à notre jardin, nous devions passer sur une parcelle qui ne nous appartenait pas et qui a été vendue récemment.
Lors de la vente, le propriétaire a décidé de nous laisser un espace sur cette parcelle pour accéder à notre jardin, et a fait poser une borne pour délimiter les contours de la nouvelle propriété de non voisin.
Cependant, cette borne a été posée alors que nous étions en vacances, nous n'étions donc pas présents, pas au courant, et nous n'avons rien signé.
Je suppose que ce bornage n'est pas valide mais ma crainte est que mon voisin qui considère que ce terrain lui appartient, décide un jour de reprendre ce bout de terrain et construire une clôture ou un mur.
Le dialogue étant des plus difficiles avec ce voisin, quelle est notre marche de manœuvre ? Devons-nous faire intervenir un géomètre pour valider la décision de l'ancien propriétaire ?
Merci de vos conseils.