Une servitude bien dure à admettre !

Bonjour ,je suis propriétaire d'une habitation dont le terrain est bordé en latéralité d'une rivière par une servitude de passage de 4 m de large qui permet l'accès à un terrain de 3.5Ha , qui jusqu'à une date récente accueillait une peupleraie qui a été coupée voici 2 années.Le passage sur cette servitude se faisait "grosso modo" 4 à 5 fois par an,cela ne posait pas de problème particulier dès l'instant où le propriétaire du terrain pré-cité prévenait de ses visites.
Aujourd'hui il me fait savoir qu'il a sous loué à un éleveur de chevaux par bail de 9 ans! et les passages se feront 1 fois par jour pour assurer l'entretien des équidés. C'est assez dur à avaler! Je sais que code civil prévoit l'obligation de laisser le passage,cependant dans le cas d'espèce le trouble de jouissance sera quotidien,et non plus 5 fois par an, là cela devient très difficile à avaler , d'autant que nous sommes situés à 100 m d'une route très passante et que nous avons deux petits chiens qui en profiteront si par mégarde le portail reste ouvert?Le zonage du PLU de la commune est en zone NP "protection de site et classé Natura 2000. Les activités à caractère agricole sont autorisées. Si quelqu'un a une idée ,je suis preneur. merci à tous .gégéBZH.