Annulation de droit de passage non fondé

Bonjour,
nous avons acquis un terrain avec une servitude de droit de passage ...pour un accès potentiel futur à une partie immobilière actuellement accessible sans problème au travers de la propriété du fond dominant.
Nous pensons que ce droit de passage cédé gratuitement par le propriétaire précédent n'est pas fondé puisque actuellement toutes les parties de la propriété voisine sont accessibles via la propriété du fonds dominant : comment le faire annulé, le voisin n'étant pas d'accord car il souhaite conserver ce droit de passage au cas où il déciderait de désolidariser une partie de son bien pour en faire une studio à louer/vendre indépendant.