Droit de passage

Bonjour,
Nous sommes propriétaires d'une maison depuis 20ans mitoyenne nous avons dans notre maison 2logements avec 2entrées indépendantes dont une qui donne sur un chemin qui appartient à notre voisin mitoyen qui lui habite derrière nous par rapport à la route principale.
De l'autre côté de ce petit chemin qui appartient à notre voisin nous avons un petit terrain où nous avons une petite batisse que nous voulons retaper pour faire un logement.Notre voisin a commencé à nous poser problème quand nous avons afficher le permis pour ce logement,il nous a mis beaucoup de bâton dans les roues et continue.Notre problème est que quand nous avons acheter la maison l'agence qui nous a vendu la maison nous a dit que nous avions un droit de passage sur ce chemin et quand ce voisin a commencé a nous posé des problèmes nous avons étudier nos papiers d'actes de vente du notaire et là rien et noter par rapport à ce droit de passage,est ce que quelqu un peut me renseigner?sur ce que l'on peut faire?où se renseigner?Merci d'avance.