Servitude déplacement

Bonjour
Mon voisin dispose d une servitude de passage en bas de mon terrain qu il vient d ouvrit pour accéder à son terrain où il doit construire.
Cette servitude étant collée à notre zone de vie nous lui proposons de la déplacer de quelques mètres ( en rachetant une petite parcelle au propriétaire du dit terrain qui est OK) afin de regagner un peu de terrain devant ce chemin mais il refuse alors qu il n y aucun changement ni désagrément ni encombrement pour lui et de surcroît nous faisons les travaux .
Étant coincée sans son accord je voulais savoir si un juge peut statuer dans un cas comme le nôtre .
Merci