Servitude de passage pour un cabanon

Bonjour,

Je suis propriétaire d'une maison avec jardin clos.
Deux cabanons sont à l'intérieur du jardin, dont un qui appartient à mon voisin. Un portillon relie nos deux jardins. Sur l'acte notarié est mentionné que le voisin " a servitude de passage pour un cabanon".
Seulement cela fait 3 fois que mon voisin m'annonce quil va passer chez moi pour enlever ses déchets verts....c'est à dire utilisant mon allée et mon portail extérieur.
Donc quil passe par le portillon commun pour enlever ses déchets et passer par mon allée et le portail exterieur, sans utiliser son cabanon à ce moment Il me semble que la servitude correspond à l'accès entre son portillon et son cabanon. Et non à d'autres fins, c'est à dire a utiliser mon autre allée pour évacuer ou déménager?
Pouvez vous m'éclairer, merci par avance