Servitude de passage / droit du propriétaire

Bonjour,
Nous sommes propriétaire d'une maison avec un chemin comprenant une servitude de passage pour notre voisin qui donne sur son terrain en friche.
Nous utilisons notre chemin pour nous garer quand nous sommes présents à notre domicile.
Ainsi nous pouvons retirer notre véhicule si notre voisin souhaite accéder à son terrain. Pendant nos absences, il n y a aucun obstacles pour passer ce chemin (sauf une chaîne propriété privée, sans cadenas, que le voisin m ordonne de retirer. Car il m a dit mot pour mot que ce chemin n était pas à moi)
Je trouve cela bizarre, je suis quand même chez moi et je n ai pas le droit de profiter de mon bien ? Est ce normal ?
Ais je également le droit de mettre ma chaîne ou même un portail (le portail reviendrai au même principe que mon véhicule stationné que je déplace à sa demande ?)
Je vous remercie par avance pour vos réponses