Servitude de passage qui peut passer ?

Bonjour,

je suis propriétaire d’une maison qui subit un droit de passage (fond servant) d’un voisin Monsieur X (fond dominant) pour qu’il puisse accéder depuis la voie publique à son terrain agricole enclavé (30 m2 de potager). La servitude est piétonne. 
 

Monsieur X, n’habite pas dans le village, ne se sert pas de sa servitude mais à « donner, transmis, accorder » son droit de passage à un autre voisin du quartier. 
 

cela est il légal ? 
 

en gros un autre voisin Monsieur Y jouit du droit de passage de monsieur X. Parce que monsieur X le lui a autorisé. Je suis en conflit avec Monsieur Y et je souhaite pas qu’il passe dans mon jardin. Monsieur Y lui n’est propriétaire d’aucune parcelle enclavé.

puis je interdire à Monsieur Y de passer sur mon terrain ?

merci de vos réponse