Erreur de cadastre

Bonjour,
Nous avons acheté une maison il y a quelques années et nous sommes aperçus après coup que la parcelle était mal délimitée (non concordance entre la réalité et le tracé du cadastre). L'autre parcelle en cause étant inhabitée (maison en ruines), nous avons donc laissé ce problème de côté. Or aujourd'hui, nous avons vendu notre maison, plus précisément signé une promesse de vente. Nous avons désormais des voisins qui rénovent la maison d'à côté et souhaitons donc régulariser la situation avant la signature de l'acte de vente définitif.
Problème : au lieu de régler les choses à l'amiable et de partager simplement les frais de bornage, les voisins veulent nous vendre le morceau "censé" leur appartenir à un prix exorbitant, autrement dit, ils nous prennent pour des pigeons. Nous nous sommes renseignés auprès de notre notaire qui nous a confirmé que ce morceau de terrain n'avait quasiment aucune valeur, chose que nous avons rapporté aux fameux voisins : la transaction ne pouvant donc rien leur rapporter financièrement, ils souhaitent l'utiliser ! Je précise que le morceau sur lequel porte le litige mesure environ 6 m2, qu'il se trouve dans notre cour, qu'il est délimité par un muret, et qu'il est séparé de la parcelle des voisins par un mur d'environ 6 mètres de hauteur, ils n'ont donc aucun accès à ce morceau de terrain qui est, dans la réalité, utilisé par nous et les propriétaires précédents de notre parcelle.
Quel recours avons-nous ? Doit-on aller jusqu'au tribunal, sachant que nous sommes pressés par le temps à cause de la vente ?
Nous remercions vivement toutes les personnes qui voudront bien nous apporter leur aide.