Servitude de passage

Bonjour,
il y a 10 ans chez le notaire, notre vendeur nous propose une servitude de passage de 6 mètre le long de notre terrain, (lui habitai juste dessous) sans en avoir parler préalablement, lui travaille dans l'immobilier et avait (peut-être) dans l'avenir acheté les terrains côtoyant le notre. En lui demandant nous avons mis notre abris de jardin sur cette hypothétique servitude, il a toujours été d'accord. Actuellement nous posons une clôture pour eviter que nos chiens se sauvent. Est-il possible d'enlever cette servitude qui n'existe que sur les papiers notariaux?sa maison a dèjà une sortie sur un chemin comunal.