Le voisin s'est attribué un droit de passage dans son PC

Bonjour,
J'ai fait l'acquisition d'une maison avec jardin et une cour commune en copro indivi le voisin A et moi-même.
Dans cette cour commune, une grange à été aménagé en habitation (en 2008) par le voisin B actuel (un architecte travaillant avec la mairie et le notaire) avec création d'un accès piéton et véhicules directement sur la voie publique avant mon achat (en 2011) .
Je précise qu'il n'est plus enclavé.
Le voisin B ayant transformé son bien s'est attribué un droit de passage sur ladite cour commune dans son permis de construire.
Au moment de mon acquisition, le notaire F m'a informé que le voisin B disposait de ce droit de passage et à ma demande, à refusé de me faire lecture de son acte de propriété .
Rien ne figure dans les actes de propriété du voisin A et moi-même concernant une quelconque servitude.
Depuis que je me suis installé dans les lieux, le voisin B se gare avec ses véhicules, promène son chien sans ramasser les déjections, stocke ses poubelles et se comporte comme si la cour lui appartenait.
Je lui ai envoyé un courrier en LR/AR pour lui informer qu'il n'est pas copropriétaire et qu'il n'a rien à y faire, rien ne change!
Dans le doute, je viens de récupérer une copie de son acte de propriété au bureau des hypothèques, dans les désignations il est dit :

« Etant ici précisé qu'il résulte du certificat de numérotage délivré par la mairie de...., le 09/2008, que la propriété est situé au...
Le VENDEUR déclare qu'à sa connaissance et depuis des temps immémoriaux, la grange dispose d'un droit de passage sur la cour cadastré section..., n°... à laquelle on accède par une porte à double battant situé sur la façade Est de la grange.
L'ACQUÉREUR reconnaît avoir été informé que seule une servitude révélée dans les titres de propriété antérieurs aurait permis de s'assurer de la permanence de ce droit de passage qui n'est corroboré à ce jour par aucune mention d'ordre juridique dans les actes de propriété.
Il déclare néanmoins vouloir faire son affaire personnelle de cette situation, sans recours contre le VENDEUR, et requiert en conséquence le Notaire F soussigné de passer l'acte dans ces conditions ».

Alors le dilemme est que le notaire F et la mairie me disent qu'il en a parfaitement le droit.
Deux autres notaires G et K, quand à eux, disent que non, et que la mairie aurait du s'assurer de ce droit de passage dans son permis de construire.
Mes questions sont, a t-il ce droit ou pas sachant qu'il l'a fait dans son PC?
Et quelles sont les démarches à entreprendre pour lui supprimer ce droit de passage qui me pourri quotidiennement.
Par avance merci.