Manque de précisions sur servitude de passage

Bonjour,
Nous avons acheté un bien (maison mitoyenne + cour) à la campagne il y a 3 ans. Nous savions qu'il y avait une servitude de passage sur notre cour mais les voisins s'étaient engagés oralement à modifier cela, et n'étant pas sur place une partie de l'année, eux nous ayant dit qu'ils n'avaient pas d'argent, nous avons laissé faire, en nous disant qu'on rediscuterait de cela plus tard.
Nous avons eu la surprise de constater en allant chez nous (res. secondaire) cette année, de voir que nos voisins avaient bâti un portail en dur, entérinant le fait de passer sur notre cour indéfiniment. Notre acte de vente stipule "cour grêvée d'un droit de passage avec puits commun et divers", mais rien d'autre. Après vérifications auprès du service de conservation des hypothèques, il apparaît que rien d'antérieur à 2006 n'a été enregistré pour expliquer et détailler cette servitude.
Il se trouve que le terrain des voisins est limitrophe du chemin communal, mais n'est pas aménagé pour y faire passer une voiture.
Nous avons essayé de nous expliquer mais nos voisins campent sur leurs positions. Nous n'arrivons pas non plus à contacter le notaire, qui a pourtant rédigé les actes, mais qui ne semble pas d'accord avec notre analyse.
Nous aimerions donc faire supprimer la mention de cette servitude de passage, au motif qu'elle est incomplète et que la propriété des voisins n'est pas enclavée par rapport au chemin communal. Qu'en pensez-vous et quelles sont les démarches à accomplir selon vous?
Merci pour votre attention et vos réponses.