Code civil article 686

Bonjour,
Nous avons acheté un terrain que nous avons divisé en trois parcelles identiques avec une servitude de passage pour les trois lots.
A ce jour, la servitude est un accès chantier ni plus ni moins et nous (les deux propriétaires des parcelles du fond) souhaiterions l'aménager (arrachage d'aubépines, pose de clôture et bîtumage de l'accès.
La serviture a été actée chez le notaire lors de la vente du terrain en front à rue. Les propriétaires de ce terrain ne souhaitent pas nous autoriser à poser une clôture (refus de signer la demande de déclaration préalable) et ne souhaitent pas que l'on touche à l'accès. Nous pensions simplement bîtumer les 2/3 de la servitude, laissant ainsi la première partie en accès chantier.
Ils ont en tête de casser la vente de ce terrain pour un problème de canalisation gaz haute pression traversant leur parcelle. Le plan de division établit par un géomètre expert n'était pas conforme à la réalité, en effet le géomètre n'a pas placé la colonne de gaz au bon endroit (écart de 3 ou 4 m), ainsi ces personnes ne peuvent réaliser leur construction comme ils le souhaitent, ils pourraient l'édifier mais en déplaçant l'implantation ce qu'ils ne souhaitent pas. Donc nous risquons de devoir régler ce litige au tribunal ; toute demande de travaux sur la servitude que nous ferons sera alors contrecarrée !!! Nous ne savons comment faire pour passer outre ? Quelles sont nos possibilités ?