Annulation d'un droit de passage

Bonjour, j'ai acheté une maison avec un droit de passage d'un de mes voisins alors que sa maison et son terrain n'est plus enclavé depuis des années ce droit de passage part de la route passe le long de son mur de cour de mon coté passe sous ma maison dans un passage vouté et sort de l'autre coté de ma maison et il a un portillon pour accéder à sa cours de derrière ou il accède avec sa voiture par un chemin il a une porte devant et derrière.Il empreinte régulièrement sans raison.Comment supprimer ce droit de passage dois je avoir son accord merci de me répondre