Peux-t-on faire annuler un bornage ?

Bonjour,
Il y a 20 ans j'ai fait borner mon terrain par un géomètre et les deux propriétaires des champs voisins, j'ai eu mon procès verbal de bornage signé par toutes les parties.
Un des champs a été racheté par mes voisin d'en face, et maintenant il me disent que ma grange attenante à la maison est sur leur terrain.
Mais les bornes que m'a mis le géomètre sont à 2 m plus loin. Peuvent ils faire supprimer mon bornage.

Merçi