Changement d'utilisation d'une servitude

Bonjour,
Nous avons vendu en 1993 une partie de notre terrain 1500 m2 avec un abri de jardin et avons gardé 1000 m2 en laissant une servitude de 4 m logeant le fossé sur ce que nous avons gardé.
ce terrain à été revendu et le nouveau a clôturé avec un portail qu'il a déporté de 1m50 + 4 m
il a agrandi l'abri qui est devenu sa résidence secondaire. L'hiver il y a beaucoup d'eau dans le fossé, il passe donc plus au large et le petit pont s'affaisse... nous n'avons rien dit
mais voilà que la mairie veut mettre de l'ordre dans toutes ces constructions qui pour beaucoup n'avaient pas de permis : ils pourront démolir et bâtir 150 m2 mais avec un cahier des charges stric. la zone rest non constructible
nous nous sommes inquiétés d 'un passage quotidien et surtout des camions qui devront passer plus au large encore et nous avons demandé à ce que la servitude soit délimitée, le portail repoussé.
bien sûr cela n'a pas plus, nous avons proposé un échange de m^me nombre de m2 sur 6 mètres de large mais il ne voulait acheter que 2 mètres disant que le chemin est déjà à lui. et il a busé et bouché le fossé collé à la servitude.
d'où explication que ce n'est qu'un droit de passage et que vu ce changement d'usage nous pourrions demander un dédommagement
espérant une réponse que nous pourrions lui montrer afin d'apaiser cette situation
merci beaucoup à l'avance pour votre travail