Supression de servitude

Bonjour,

Nous aimerions acheter une maison mitoyenne. La maison possède une véranda qui donne sur le jardin. Le premier mètre en dehors de la maison pour accéder au jardin est une servitude. En fait, le voisin de gauche est le père du voisin de droite, donc il utilise cette servitude (légale et inscrite au notaire) pour aller chez ses enfants. Hors, il pourrait très bien passer par le trotoir (plus logique).

L'agent immobilier nous a dit qu'on avait aucun recours. Est-ce vrai? Car avoir des gens qui passent tout le temps dans notre jardin n'est pas très chouette. J'ai cru entendre parler d'une loi qui dit qu'on peut la supprimer si l'usager a un autre itinéraire possible. Est-ce vrai?

Merci d'avance