CHEMIN DE SERVITUDE

Bonjour,
j'ai acheté il y a 4 ans une maison clôturée en mitoyenneté à l'avant. Mon terrain étant enclavé, j'ai une servitude de passage qui arrivait jusqu'à mon portail et comme je suis la dernière maison le chemin ne s'est jamais fait dans ma cour (soit 1.50 m de part et d'autre) donc je n'ai jamais été informée qu'il y avait une servitude qui passait dans ma cour.
Le voisin qui a racheté le terrain de devant veut construire sa maison en mitoyenneté et me demande d'enlever mon portail pour qu'il puisse aussi utiliser ce chemin de servitude.
Le problème, en lui donnant accès à ce passage, je n'ai plus la possibilité de garer ma voiture dans ma cour étant donné que cette partie du terrain me servait de stationnement et aussi plus de jardin ce que le vendeur m'avait caché car je n'aurais jamais fait l'acquisition de cette maison sans jardin.
Comment faire pour faire reconnaitre au Notaire qu'il y a eu vice de forme et que mon acte de vente ne signale pas cette servitude de passage dans mon jardin ? (je précise que le Notaire ne m'a donner qu'une possibilité à savoir "brader" et vendre ma maison pour éviter les longues démarches judiciaires que je devrais affronter et tout l'argent que je vais dépenser sans être certaine de gagner contre le Notaire qui d'après une consultation payante chez un avocat est 'inattaquable".
Dans l'attente de votre aide si vous avez été dans la même situation.
Merci d'avance
Marine