Problème de taille de servitude

Bonjour à toutes et à tous

J'ai acheté un terrain en 2013 qui est grévé d'une servitude de passage pour accéder à une bande de pelouse qui permet elle d'accéder à une parcelle de bois .
La personne qui m'a vendu le terrain était propriétaire de toute la surface jusqu'à la lisière du bois , bois qui est divisé en trois parcelles appartenant à ses frères et cousins . Ce monsieur à donc coupe son terrain en 2 et m'a vendu la deuxième partie .

Sur l'acte notarié il déclare que la servitude de passage sur nos 2 terrains respectifs s'est toujours exercée sur une largeur de 3 mètres et que c'est à tort que l'ancien acte stipule 5 mètres de passage . , avec l'accord des parties( lui et moi) , la servitude a été ramenée à 3 mètres par le notaire , actée et déposé au bureau des hypothèques de Bordeaux en 2013.

Mon problème aujourd'hui est qu'après avoir commencé ma construction , les propriétaires du bois( qui n'apparaissent même pas sur mon acte) , me demandent de détruire ma construction pour ramener la servitude à 5m comme stipulé sur leurs actes de 1979 . Mon terrain est au milieu de la propriété de mon voisin et je dois laisser un avis de passage certes mais pourquoi ces personnes du bois n'apparaissent pas dans mon acte ?? Qu'est ce que je risque aujourd'hui ??

Merci pour vos réponses