Droit de passage

Bonjour et merci de votre accueil
je suis propriétaire d une villa depuis 1998, lorsque j ai acheté, il y avait deux autres propriétaires après ma villa et ces personnes passent sur mon terrain pour accéder à leur villa. Je n ai jamais rien dit, sur mon acte de vente il y a la clause servitude que l on trouve habituellement, c'est à dire :
"L'acquéreur devra soufrir les servitudes passives, apparentes ou non apparentes, continues ou discontinues, pouvant grever le bien sauf à jouir de celles actives s'il en existe, le tout à ses frais , risques et périls et sans que la présente clause puisse conférer à qui que ce soit, plus de droits qu'il n'en aurait en vertui de titres réguliers non prescrits ou de la loi".
aujourd hui mon plus proche voisin veut vendre sa maison, mais fais également un détachement de parcelle afin de la vendre et d y effectuer une construction.
voilà ma question :
Puis je interdire le droit de passage ? En sachant qu il n y a aucun droit de passage pour cette nouvelle construction et qu ils ont un autre accès, et que le chemin n est pas fait pour supporter des camions.
il n y a jamais eu d accord entre nous pour ce passage.
Et surtout que dois je faire ?
ou bien n ai je aucun droit d interdire ce droit de passage ?
voilà j espère avoir été claire, et merci par avance de vos réponses.