Servitude de passage

Bonjour, je fais construire une maison sur un terrain ou il y a une servitude de 3 mètres sur l'acte notariés. Mon problème est que les voisins qui empruntent cette servitude me soutiennent qu'elle est de 5m! car leurs actes notariés qui date de 1979 le stipule! ces voisins nous harcèlent de lettres recommandées en tout genre pour nous sommer de détruire la construction! que pouvons nous faire? s'il y a une plainte de déposé contre nous (ils nous en menacent!) cela va t'il retarder la construction? car nous sommes actuellement locataire et nous allons nous retrouver à payer un loyer plus un crédit! et c'est au dessus de nos moyens! quels actes notariés est valable le leur datant de 1979 ou le notre datant de 2013? y' a t'il eu dessous de table entre le notaire et notre vendeur du terrain? pour ramener cette servitude de 5m à 3m?
bref je me pose pleins de questions et je ne dors plus! j'espère avoir été assez clair dans mes propos!!merci pour vos réponses