Annulation d'un droit de passage

Bonjour,
j'achète un terrain avec un chemin pour y accéder, mon voisin a sa maison qui longe mon chemin et son garage se trouve à l'origine derrière sa maison et donc au bout du chemin qui accède à mon terrain. Cependant, mon voisin dispose en droit de recul de trois mettre qui m'empêche de mettre mon portail. Or mon voisin a avancé son garage de 10 mettre et de ce faite il n'a plus besoin de ce recul, Que dois-je faire pour annuler ce droit e recul et mettre ainsi mon portable à la limite e sa maison. Il faut savoir qu'il a construit un muret pour délimiter sa maison et par conséquent détruit ce recul sur une partie. Mais quand je lui demande de me coller à son muret pour faire mon portail il refuse . je rappelle que le chemin m'appartient y compris ce passage de recul initial. Merci pour votre conseil