Servitude pas sur l'acte de vente

Bonjour,

Nous avons acheté il y a 1 an et demi une maison possédant une cours au fond d'une impasse. Aucune servitude n'était spécifiée sur l'acte de vente et les anciens propriétaires nous ont assurés qu'il n'y en avait pas. Or, au fond de cette cours, à coté de notre maison, un voisin possède deux parcelles cadastrales sur lesquelles ce trouve une grange sur l'une et une maison sur l'autre. Sa grange et sa maison sont cote a cote et desserve de l'autre coté un jardin commun avec un accès sur une route communale. Quelques jours après notre achat ce voisin nous a montré l'acte de vente de la grange spécifiant qu'il possédait un droit de passage dans notre cours.
"Précision étant ici faite qu'il existe un droit de passage et un droit de se garer sur partie de la parcelle cadastrée section AH numéro 30 au profit de la parcelle vendue, et tel figurant en rouge hachuré sur le plan ci-joint (plan que nous ne possédons pas)."
Sachant que ce droit de passage n'est pas spécifié sur notre acte, que sa maison collée à la grange n'est pas enclavée (jardin de l'autre coté avec accès à la route) que pouvons nous faire? Ma démarche vient du faite qu'il passe tout les soir devant les baie vitré de notre maison a vive allure et que nous avons un enfant en bas-age qui va bientôt gambader dans la cours.

Merci de votre aide.