Un voisin veut voler une partie de notre terrain

Bonjour,

des nouveaux venus arrivent et prétendent qu'un bout de terrain au bout du nôtre leur appartient, ce qui est faux, mais ils s'appuient sur le fait que j'ai construit une barrière 16 mètres avant la fin de notre terrain, ce qui délimiterait notre terrain de fait.

J'ai construit cette barrière il y a 4 ans pour nous protéger des sangliers et délimiter la "zone sauvage" derrière. Dorénavant, car ils veulent tout débroussailler, je voudrais poser une barrière mitoyenne, afin de protéger le terrain de cette tentative frauduleuse d'appropriation.

Ces personnes ne veulent pas faire appel à un géormètre pour savoir précisément où cela s'arrête, mais de toute façon ils veulent nous voler plus de 400 m2 de terrain (16 sur 26 environ). Nous hésitons car je voudrais avant tout construire une cloture pour délimiter notre terrain, 16 mètres plus loin. 

J'ai peur qu'ils tentent de la détruire ou m'agressent quand je vais aller la poser car ils semblent très virulent et pas du tout ouverts à la discussion, nous avons pourtant les titres de propriétés, etc.

Je ne veux pas qu'ils débroussaillent chez nous. La police est déjà venue et nous a conseillé de faire intervenir un géomètre. La procédure est lente, je voudrais d'abord poser une cloture "de sécurité". Suis-je dans mon droit ?