Mur de clôture

Bonjour,
Nous avons réalisé un mur pour fermer notre propriété côté rue et l adjoint au maire chargé de l urbanisme nous a indiqué que nous pouvions le faire derrière la limite de propriété afin de ne pas avoir à respecter les hauteurs imposées par les lois communales ???? il nous a même dit que la déclaration de travaux n était pas nécessaire puisqu'il s agissait d aménagement de l espace puisque nous ne sommes pas sur limite de propriété..
Nos voisins, qui ne sont pas concernés directement par ce mur, peuvent-ils nous le faire démonter?
Nous sommes actuellement en procédure avec eux pour nos extérieurs communs et ils sont prêts à tout pour aller le plus moins possible, d où ma question!
Merci par avance!