Refus d'utiliser correctement ma servitude

Bonjour,

J'ai acquis une maison située sur un terrain enclavé. De ce fait, un ancien propriétaire avait constitué une servitude avec le voisin permettant ainsi d'accéder à la maison par une bande de 4 mètres de largeur.
"Ce droit de passage profitera aux propriétaires successifs du fonds dominant, à leur famille, ayants-droit et préposés, pour leurs besoins personnels et le cas échéant pour le besoin de leurs activités.
Ils auront le droit d'utiliser le droit de passage à pieds ou avec tous véhicules à moteur..."

J'avais déjà posté un message ici pour savoir comment passer des canalisations sur cette servitude. Le sujet s'avérant trop litigieux, j'ai trouvé une solution avec le propriétaire d'un autre terrain.

Cependant, je reste enclavé et j'ai besoin d'utiliser la servitude pour rentrer chez moi.
Pour se venger, le fond servant me dit qu'il va aller à la mairie pour m'obliger à trouver une autre solution de passage (puisque j'en ai trouvé une pour mes canalisations), me faire détruire mon portail et tout reconfigurer? Est-ce possible?

Je précise que mon terrain est enclavé (je ne dispose que d'une bande de 1,5m de large qui va à la route) et cette servitude était en place bien avant mon arrivée...


Merci pour vos précisions.