Division d'1 terrain à vendre

Bonjour,
Nous avons signé 1 compromis pour 1terrain bâti. Il s'agit d'1 partie d'un terrain plus grand que le vendeur doit diviser avant qu'on signe l'acte authentique de vente : c'est une condition suspensive figurant au compromis.
Le géomètre est passé faire le bornage en présence du vendeur.
Or nous n'avons pas été contactés lors de la pose des bornes. Là on nous appelle pour signer les documents de la division au cabinet du géomètre, avant transmission au cadastre.

Nous sommes allés vérifier les bornes sur ce terrain rectangulaire. Il y a bien 3 bornes : 2 qui délimitent la division de la parcelle, une 3° existante à l'origine. En revanche la 4° borne n'a pas été posée, qui correspond à un angle déjà existant... mais qui pose problème avec les voisins. En effet ce 4° angle correspond à une servitude de passage existante depuis 20 ans, qui serait prise à 100% sur notre parcelle selon le plan cadastral initial , sauf que ce n'est pas identifié par une borne. Les voisins jouent sur cette absence de borne et contestent en confirmant que chacun a participé pour moitié à cette servitude à l'époque. Au quotidien les voisins stockent des épaves et autres détritus sur le côté de la servitude qu'ils prétendent être sur leur parcelle. Or d'autres voisins nous somment d'enlever ces détritus car ils sont situés sur notre parcelle....

Que faire? Peut on profiter de la division de parcelle pour exiger du géomètre d'identifier clairement la 4° borne, qui correspond à 1 situation existante? Aurait-il dû consulter tous les voisins pour les "angles" déjà existants? Le bornage contradictoire est il obligatoire pour 1 division?
Peut-il refuser de poser cette 4°borne? Si oui, que dois-je faire : demander à 1 autre géomètre de faire 1 bornage contradictoire ou autres solutions?Aux frais de qui du vendeur ou de l'acquéreur?