Abus droit de passage

Bonjour à tous
Un terrain enclavé, non bâti, avec juste un garage à voiture, se trouve au bout de ma propriété, ce qui fait que le propriétaire a un droit de passage sur ma propriété.
Il s’agit en fait d’un nouveau propriétaire, l’ancien étant décédé, qui l’a récupéré par succession.
Or, il s’avère que ce dernier organise régulièrement des fiestas entre jeunes dans ce terrain, et je me retrouve avec un passage incessant de personnes, a pied et à voiture, chez moi, ce qui constitue une véritable nuisance.
Durant tout cet été, il héberge même des amis dans ce terrain, dans un fourgon.
Pour le moment, l’accès à ma propriété n’est pas fermé, mais du coup, je compte le faire.
Je sais que je vais devoir lui laisser un accès en lui fournissant une clé, mais a-t-il le droit de laisser cette clé à tous ses amis afin qu’ils rentrent et sortent à leur guise ?
Avant d’engager une action judiciaire, j’aimerais avoir votre avis sur ce problème : le droit de passage peut-il être étendu à tous les amis du propriétaire, sans qu'il soit forcément présent ?
Merci de votre aide