Actes authentiques droit de passage

Bonjour,

Nous sommes dans une situation très stressante!!
Nous avons acheté un terrain il y a quelques mois. Le dit terrain provient de notre voisin qui se disant trop fatigué pour entretenir son grand jardin à décider de diviser et vendre à la personne qui ensuite nous l'a vendu.
Le problème est qu'un chemin de servitude cours le long du terrain pour se rendre dans un bois dont mon voisin et certains membres de sa famille sont propriétaires, jusque là pas de souci si ce n'est que lorsque nous avons démarré les travaux de construction de notre maison, les usufruitiers du droit de passage se sont manifesté en demandant l'arrêt des travaux au titre que leur acte notarié datant de 1979 stipule une largeur de 5 mètres et que notre acte authentique en stipule 3 suivant ainsi les directives du PLU de la ville.
Ma question est la suivante: lequel de ces 2 actes fait foi?
Peuvent-ils nous contraindre à un procès au motif que selon eux" sans les 5 mètres ils feront casser la dalle".

Nos nerfs sont mis à rude épreuve car nous nous retrouvons au milieu d'une querelle familiale vieille de 30 ans et que selon notre voisin et les riverains, ce passage n'a jamais été de 5 mètres et tout le monde semblait s'en accommoder jusqu'alors.

Merci pour l'aide que vous saurez nous apporter.
Notre vie de famille se joue dans ces quelques briques...