Contester une servitude de passage

Bonjour, est ce que je peux contester une servitude de passage ? Sous quelles conditions ? La situation c'est que mon voisin pour accéder a son domicile doit traverser mon terrain et lui doit me laisser faire mon retour sur son terrain. Sauf que monsieur a décidé de mettre un portail a la limite de nos propriétés et du coup m'empêcher de faire mon retour. Je me demandais calmement s'il existait un autre chemin pour qu'il puisse accéder a son domicile si je pouvais supprimer cette maudite servitude et vivre en paix.
Merci de votre attention.