Conflit hauteur de mur de clôture avec municipalité

Bonjour,

Nous avons fait construire un mur de clôture entre notre terrain et la route suite à une déclaration de travaux qui avait été validé en décembre 2015.
Notre mur est plus haut que ce qui est indiqué dans le PLU (1,80m au plus haut pour 0,80m), mais la déclaration avait été acceptée car le PLU n'était respecté par aucun de nos voisins.
Nous n'avions pas mis de hauteur maximale sur la déclaration, nous avions juste spécifié la hauteur de départ et le fait que le mur serait horizontal (la route étant en pente, la hauteur varrie beaucoup).
Aujourd'hui que les travaux sont pratiquement terminé (armature, chainage et une partie des chapeaux fait), le maire nous dit que nous ne sommes pas dans la loi car notre mur est à plus de 0,80m. Il souhaiterais que nous détruisons le mur (qui nous a coûté plus de 10 000 euros).
Sachant que lorsque nous avions fait la déclaration nous avions demandé à voir quelqu'un pour montrer sur le terrain ce que nous souhaitions faire, ce qui nous avait été refusé.
Que peut-il réellement faire ?
Quels sont nos droit et nos recours ?

Merci de nous aider à avancer sur ce sujet le plus rapidement possible