Droit de retournement

Bonjour,
J'ai un droit de passage (enregistre chez le notaire) pour accéder à ma propriété de 400m environ avec un renfoncement qui me permet de manoeuvrer pour rentrer chez moi distant de 50m environ car il m'est impossible de le faire devant ma maison.
Ce retournement fait que je depasse les 4m du droit de passage.
Ce retournement est pratiqué depuis 1976 date de la construction de la maison et depuis 1980 par nous.
le nouveau propriétaire sur lequel est le droit de passage ne veut plus que je tourne sous prétexte qu'il n'est pas enregistré et spécifié dans l'acte.
D'autre part, il a entamé des travaux chez lui et souvent je ne peut pas sortir car les camions stationnent sur le chemin. IL me répond que c'est sa propriété.
Pouvez vous me renseigner sur mes droits
Je vous remercie