Droit de passage

Bonjour à tous ,
Voilà nous sommes avec ma compagne entrain d'acheter notre première maison (ancienne ferme avec dépendances ) avec un droit de passage servant à rentrer dans une partie des dépendances par l'extérieur en sachant que cette entrée est la seule par l'extérieure et une autre par l'intérieur.
Nous voudrions y faire un garage et donc profitez de ce droit de passage pour y entrer avec nos voitures et non pas stationner.
il existe déjà un droit de passage de la largeur d'une voiture.
Mon problème est que le voisin qui vient d'acheter les bâtiments à cotés veut supprimer le droit de passage ce qui nous empêcherais de faire notre garage dans cette dépendance et de la rendre inaccessible et non fonctionnel
il m'a dit qu'il c'était renseigné et qu'il en avait le droit et qu'il partirait en procès or le notaire m'a indiqué que ce droit de passage était perpétuel et que ce dernier était lié à la maison et non au propriaitaire.
Ma question est : le voisin à t il le droit de faire cela ?
Merci par avance.