Servitude pour jardin derrière la maison

Bonjour,

Je viens d'acheter, il y a 2 mois, une maison avec un jardinet à l'avant, clôturé d'un mur en pierre donnant sur la rue.

J'ai un jardin à l'arrière dont l'accès se fait par la maison. Donc pour y accéder, je traverse la maison.

Puis, de la rue, à côté de mon portail, je peux prendre un chemin long d'une vingtaine de mètres et large d'1,5 mètres, qui passe entre le mur de ma maison à droite et le mur de la maison du voisin à gauche. Ce terrain m'appartient sur une dizaine de mètres, je dois alors emprunter l'autre bout, qui ne m'appartient pas, pour pouvoir accéder à mon jardin.

Tout d'abord les vendeurs nous on averti qu'une servitude verbale existe depuis...toujours... Donc aucun acte.

Ils ont alors fait stipuler cette servitude dans l'acte de vente afin de préciser que nous sommes informés et que par conséquent ne pouvons nous y opposer.

Seulement voilà, la servitude est utilisé par 2 voisins du village pour accéder à leur parcelle donnant sur la berge de la rivière. Et des habitudes ont été prises car le propriétaire de l'autre bout du chemin ne tolérant personne sur son chemin obligeait les utilisateurs de mon chemin ( et du Sien) à passer par la petite porte de ma grange qui donne dans ce chemin, pour traverser mon jardin et enfin accéder au leur...!

Nous découvrons les us et coutumes un peu tous les jours.

Je ne souhaite pas bloquer mes voisins mais je n'ai pas envie qu'ils traversent mes dépendances et mo' jardin...

Du coup je prends conscience que même moi je ne vais plus pouvoir accéder à mon jardin par ce chemin à cause d'un voisin qui ne tolère personne sur son bout de chemin alors que son jardin donne de l'autre côté et qu'il ne doit jamais utiliser ce petit chemin sauf pour aller cueillir des figues.

Et du coup l'autre voisin revendique une servitude dans notre jardin. Sachant qu'il y accède par notre grange...

En plus nous devons faire l'assainissement dans notre jardin et nous n'aurons pas d'autre choix que d'emprunter le chemin du voisin pour le faire...
Nous sommes déboussolés..
Que dois-je faire ??