Comment déplacer un droit de passage ?

Bonjour,
Bonjour, notre voisin a un droit de passage sur notre propriété qui est consigné sur l'acte notarié comme servant " à faire passer une charrette pour aller battre le blé devant la grange". Or, cette maison n'est plus une grange et un accès existe maintenant vers la rue. Le passage en question se situe en plein milieu de notre petit jardin à deux mètre de notre porte. Nous ne pouvons donc pas installer de table dehors pour manger car dans ce cas, il passe avec sa voiture plusieurs fois par jour pour nous en empêcher. De plus, il a ouvert un gîte sur sa propriété et ses clients doivent eux aussi passer par chez nous pour s'y rendre. C'est très gênant pour tout le monde Nous avons un autre terrain mitoyen sur lequel nous lui avons proposé de déplacer le passage (à savoir, déplacer le passage de deux à trois mètres en installant un chemin dont il serait le seul utilisateur et qui de plus, serait plus court pour accéder à sa propriété, le premier étant en diagonale en travers de notre jardin qui fait 6 m de large ) afin de nous laisser la jouissance de notre jardin. Il refuse. Est- raisonnable ? Que peut-on faire ?