Servitudes et nuisances

Bonjour,
Nous habitons notre maison depuis l'été 2010. Lorsque nous avons fait construire, sur l'acte notarié nous avons accordé toutes servitudes de réseaux et de passage dans notre cour sur 5 mètres de largeur pour que le propriétaire du terrain du fond (terrain agricole) puisse entretenir celui-ci , et aussi au cas ou il y aurait de futures constructions. (modification au PLU en 2013). Aujourd'hui, avec du recul, nous nous rendons bien compte les nuisances sont terribles car nous ne nous sentons pas chez nous, d'une part parce que les personnes étrangères passent sous notre nez, et aussi, nous ne pouvons pas fermer notre cour par un portail. De plus il est incroyable de savoir que notre espace privé est considéré comme une continuité de la route au dire du paysan qui auparavant accédait par une autre route juste au dessus de son champs, mais maintenant, vu les servitudes, il ne se gène pas pour passer chez nous. En fait le bénéfice est total pour lui car les réseaux sont déjà installés, et il peut passer devant chez nous s'en être inquiété le moins du monde, pour lui tout est gratis, que des avantages, et aucune indemnisation pour nous.
Que devons-nous faire, pour revenir sur ces servitudes en sachant que le paysan ne veut pas y renoncer. Cette maison est notre premier achat immobilier, et nous avons le sentiments de nous être fait avoir par rapport aux servitudes.
Merci de votre réponse,
cordialement