Droit de passage

Bonjour, je suis locataire d'une maison  et mon propriétaire à laissé un droit de passage au propriétaire d'une grange qui est enclavé. Pas de problème entre nous, mais d'autres personnes qui n'ont rien à faire dans ce droit de passage et qui habite de l'autre coté de ma rue dans des caravanes sur un terrain, ont décidé qu'ils avaient le droit de venir jouer au ballon ou à la pétanque. Je les ai fait partir mais je subis des menaces de mort. Ils prétendent que ce terrain est à tout le monde. J'ai fermé avec une chaîne, ils l'ont coupé et détruit les pancartes mis par mon propriétaire "terrain privé défense d'entrer". J'ai prévenu le maire et fait venir les gendarmes, mais personnes ne bougent, car se sont des gens du voyage et tous en ont peur. que puis-je faire ? ils dégradent maintenant mon potager.