Nuissance et servitude

bonjour à tous,
je viens demander quelques conseils concernant un droit de passage sur ce forum, voici les faits.
en aout 2011, nous avons acheté un corps de ferme, sur notre terrain se trouve un droit de passage d'une largueur de 4 metres concédé à un agriculteur par l'ancien propriétaire en 2004.
lors de la transaction la servitude était mentionnée sur l'acte de vente que nous avons signé, l'ancien proprio nous avait dit que l'agriculteur ne passait jamais car son champ n'est pas enclavé et à toutes les entrées par la route ,mais en fait depuis que nous avons acheter, ce dernier passe et repasse avec un gros tracteur et fait passer son troupeau de vaches, je pense qu'il veut nous montrer qui est le maitre dans sa contrée.
le problème est qu'il roule et son troupeau gambade sur l'épandage de ma fosse septique (qui est dessiné sur les documents de vente établis par le notaire)
voici ma question, pourrai-je exiger l'annulation de cette servitude pour cause de risque de détérioration du système d'épandage, je signale que techniquement ce dernier ne peut-etre placé ailleurs car le terrain est en pente et de plus son champs n'est pas enclavé donc pourquoi cette servitude ?????
encore un détail, sur l'acte vente original que nous avons signé, il est mentionné que cette servitude est représentée en vert sur les plans alors que nous avons eu des plans en noir et blanc....donc pas facile de s'y retrouver lors de la signature du co-promis de vente .
un grand merci d'avance pour celle ou ceux qui pourrai m'éclairer
sylvain d