Droit de passage, ouverture de portails

Bonjour, Mon voisin a un droit de passage dans mon terrain depuis plus de 30 ans même s'il a son propre accès et n'utilise pas le portillon qu'il a ouvert.
Depuis l'année dernière le portillon est inutilisable car il a monté un muret derrière. Maintenant il me dit qu'il va faire une autre ouverture, plus grande et sur un autre endroit ( pour bâtir une autre maison sur le fond de son terrain ) .
J'avais placé un portail après sa première ouverture n’imaginant pas qu'il pourrait la fermer et en ouvrir une autre située derrière mon portail. Est-il dans son droit ?
Puis- je faire supprimer le droit de passage ? Si non, puis-je conserver mon portail et lui donner simplement une clé ? Merci pour tous vos conseils