Mon voisin peux il m'obliger a bâtir un mur dans mes limites

Bonjour,
Nous avons acheté un terrain dans un lotissement neuf pour y construire notre maison.
Dans le règlement du lotissement et dans le cahier des charges, on nous interdit de couper les arbres qui sont sur notre terrain car ils dépendent d'un "espace boisé classé". En parallèle on nous demande de bâtir un muret de 0.50m au milieu de ce même espace boisée. Le tout dans nos limites et a nos frais.
Les voisins de la propriété qui était là avant nous refusent qu'on coupe le moindre arbre et s'obstinent a nous exiger le mur. Il faudrait donc creuser des fondations au milieux d'un sol très rocheux et bâtir un mur en slalomant entre les arbres tout en restant dans notre propriété.
Ma question est donc simple est ce que notre voisins peux réellement nous obliger de bâtir ce mur ?
La mairie est de notre coté mais ne veux faire aucun écrit ni prendre une réelle décision car les voisins sont une riche famille installée sur la commune depuis bien longtemps.
Je tiens a préciser qu'il y a 2 ans lors d'une réunion publique le maire m'avais donner l'accord de ne poser qu'un grillage souple mais ceci n'a pas été reporté dans le rapport de cette réunion. A partir de là nous avons construit nos autres murs de clôtures et sommes désormais dans l'impossibilité de faire rentrer un engin pour faire creuser la fondation.

Merci a ceux qui pourrons me répondre et/ou m'orienter sur des textes de loi pour nous défendre.