Droit de passage ne figurant pas sur le compromis de vente

Bonjour,
Nous avons signé un compromis de vente auprès d'une agence immobilère pour une petite maison avec jardin .Il n'a jamais été précisé que le voisin disposait d'un droit de passage sur le terrain .Il vient d'installer une clôture avec un portillon s'ouvrant directement sur notre terrasse , prétextant devoir sortir ses poubelles et des brouettes par le passage existant le long de notre maison et assurant que des propriétaires précédents avaient conclu un accord dans ce sens . Je dois signer l'acte authentique dans trois semaines et je viens d'apprendre cela . Puis-je annuler cette vente qui ne me satisfait plus ,sachant que je devrai subir des allées-venues contre ma baie vitrée et que ce droit de passage ne figure pas dans ce compromis de vente ?
D'avance merci pour votre réponse
Eve