Droit de passage, servitude

Bonjour,
Lors de notre achat de terrain pour la construction de notre maison en 2013, nous avons dû laisser un droit de passage (servitude) de 4 m car il n'existait qu'un chemin communal de 2 m et un lotissement de 4 pavillons devait se faire au dessus.
Il existe une propriété qui longe ce chemin, en face de notre terrain. Lorsque les travaux de voirie ont été faits, ce voisin (très procédurier ) a demandé un trottoir tout le long de son terrain mais à cheval sur les 2 m de chemin communal .
Il a clôturé son terrain à 1 m du trottoir chez lui, ce qui fait qu'il y a 1 m d'herbe chez lui et 1 m de l'autre côté du trottoir , sur le bitume posé. De plus il vient de faire , après son grillage, une entrée voitures ou camions, qui nous pose problème, car il n'a aucun droit de passer sur nos 4 m, mais seulement sur les 2 m de chemin communal !!!!
Du fait que ce chemin communal est coupé en 2 par le trottoir, comment faire et à qui s'adresser, pour changer les choses?? comme par exemple, détruire le trottoir, pour réhabiliter ce chemin communal sur 2 m, le faire poser à la bonne place c'est à dire au ras de son grillage, afin de revenir aux 6 m obligatoires du début, et lui interdire tout passage sur notre partie, puisqu'il n'en a pas l'autorisation, contrairement aux pavillons construits au dessus de chez nous.
Je précise que ce voisin a une entrée sur la route principale pour accéder à son pavillon, et qu'il aurait très bien pu, faire une 2ème entrée plus bas, sur cette même route, s'il a dans l'idée de faire 2 gites (comme nous en avons été informés)
Merci de m'avoir lue et j'espère avoir été à peu près claire !!