Droit de passage

Bonjour,
nous avons acheté un appart dans une maison divisé en 4. Nous avons racheté l' appart de la fille de notre voisine.
Devant chez nous passe un chemin qui permet l' acces au dernier appart; au bout de ce chemin se trouve un terrain+maison avec un vieux portail donnant accès a notre fameux chemin.
Lors de notre visite d'achat nous avons tout de suite relevé cette particularité et avons demandé au notaire et aux vendeurs si il avait une servitude ou un droit de passage, car si cela était le cas nous ne saurions pas intéréssé ou pas au prix demandé. La réponse fut non dans les deux cas et cela est même noté noir sur blanc sur notre acte d' achat.
Aujourd' hui la maison voisine se vend et le nouveau propriétaire vient nous voir et nous dit, preuve à l' appui, qu' il a un droit de passage.
J' en parle a ma voisine et là elle me dit qu 'effectivement en 1988 il avait donné l' autorisation de passer par ce chemin mais que comme cela n' avait jamais été fait elle pensait que l' autorisation ne valait plus!
Nous pensons avoir été abusé, le notaire n' aurait-il pas du faire les recherches necessaires pour s' en assurer?
Les vendeurs ne pouvaient êre que au courant vu que la vendeuse n' est autre que la fille de la signataire de l' autorisation.
Que puis-je faire et contre qui me retourner pour demander réparation, car nous avons l' impression d' avoir été berné?
Merci de votre aide.