Annuler un droit de passage

Bonjour, je souhaite avoir des renseignement sur la possibilité d'annuler une servitude de passage, et la procédure à suivre.
En effet j'ai un chemin qui m'appartient qui sépare ma maison de celle de mon voisin que je vais nommer "Z".
Le chemin, très en pente, donne sur une route départementale, le chemin en question est fermé par un portillon (jamais de cadenas) et un grillage, "Z" lui même s'est chargé d'enclaver ce chemin et ce bien avant qu on achète la propriété, le chemin n est donc plus fonctionelle depuis tres longtemps.
Sur ce chemin, il existe une servitude de passage(pour tout vehicule) au profit de "Z" affin qu il puisse accéder a un puit qui d'une part n'est plus fonctionelle et qui n'existe même plus(son ancien emplacement n'est plus localisable, et le numero de parcelle où il etait situé ne correspond a aucun numero de parcelle sur tous les actes écrites et consultables)
"Z" justifie son passage (a pied) pour l accès a un garage qui donne sur la departementale(dont le permis de construction laisse beaucoup de doutes)
"Z" a construit un portail provisoire entre la visité et l achat de notre propriété, aujourd hui ce portail parrait plus definitif.
Ce portail est construit au debut de la pente, au ras du chemin en question et donnant sur son jardin qui a toujours été emmuré auparavant.
Mes questions:
1.Aurais je raison si je fais une demande d annulation de cette servitude justifiant juste le chemin n'est plus utilisé pour les fins décrites sur mon acte.

Dans le cas où je ne puis annuler cette servitude, je voudrais réouvrir le passage qui donne sur la route départementale ce qui nécéssiterait d adoucir la pente et causerait par consequent une importante( au moins 75cm) denivelée a l acces du portail de "Z"
2.En aurais je le droit, sachant que ce portail(virtuel sur nos actes respectives) me semble juste avoir été construit récemment pour creer un enclavement sur le jardin de "Z" pour qu il puisse ere chez lui chez les autres.
Mes remerciements

Juste une précision, l acces a son garage en contrebas peut se faire direcement par le départementale, un chemin communal plus haut donne acces a ce departementale
Pour raison de securité par rappor a la dangerosié de la departementale, il me semble qu il n a pas le droit d utiliser ce garage a des fins de parking, juste pour stocker du materiel, et c'est le cas jusqu a maintenant