Servitude oubliée par le notaire..

Bonjour,
Ma femme et moi avons acheté une maison avec terrain attenant. Lors des différentes visites avec l'agent immobilier, nous avions remarqué un chemin longenat la maison et en direction de la maison voisine. Nous avions donc demander si ce chemin n'était pas une servitude de passage, servitude qui s'opposait a notre achat. La réponse de l'agence et des anciens propriétaire était " que ce chemin est un arrangement entre voisin (ou plutot frere et soeur etant donner qu'ils etaient frere et soeur) et qu'il ne s'agit pas d'une servitude".
Lors de la signature du compromis de vente a l agence, sur le document, aucune servitude de passage n'apparait.
Lors de la signature de l'acte chez le notaire, en presence des vendeurs, du representant de l agence et de moi meme, le notaire n'a signalé aucune servitude de passage, l'acte a ainsi été signé.
Quelques jours apres notre demenagement, le voisin passe sur le chemin sans rien demander, et c'est alors que nous sommes allé le voir pour lui signifier qu'il n avait plus le droit de passer sur ce chemin. A notre grande surprise, il nous indique qu'il a un droit de passage occasionnel sur ce chemin, droit qui avait ete notarié il y a 20 ans a peu pres.
Nous avons donc repris contact avec l'agence et le notaire. L'agence, elle, nous a repeté que, selon les documents fournis par les anciens proprietaires et ceux fournis par le notaire, il n'existait aucune servitude de passage.
Quand au notaire, nous l avons joint par telephone, et a notre grande surprise, il nous stipule qu'il y a bien un droit de passage sur notre terrain et qu il l'a dit le jour de la vente, ceci etant faux bien entendu.
Nous nous retrouvons donc avec un droit de passage sur notre terrain et de surcroit a 1 metre de notre baie vitrée.
J'ai recupéré le titre de propriété des anciens propriétaires sur lequel n'apparait aucune servitude. J'ai aussi recupéré l'acte de vente de mon voisin sur lequel apparait la servitude. Jai ete chez le notaire pour voie l acte authentique et a ma stupeur une phrase avait ete rajouté a la main par je ne sais qui et qui notifiait la servitude!!!
Je vous demande donc ce que je peux faire?
merci d'avance pour vos reponse et si vous voulez plus de preciision, je vous repondrais rapidement.