Servitude de passage - qui peut passer?

Bonjour, je vis en Belgique et mon voisin à le droit d'emprunter la servitude de passage qui se trouve sur mon terrain. Il arrive fréquemment qu'il organise des barbecues sur son terrain. De ce fait, ses invités rentrent tous par la servitude. En ont-ils le droit? Et il arrive aussi que ses invités se baladent à pied sur cette servitude. Puis-je refuser?
D'ores et déjà merci !