Problème avec un maire

Bonjour,
Monsieur le maire de notre village, nous a accorder en date du 14/10/2017 le droit des faire des travaux, suite à notre demande préalable.
Nous avons commencés les travaux et avons déjà investi + 4 000.00 € quand le maire nous envoie une demande d'arrêt de travaux, nous serions soi diant sur le domaine public, et nous demande de faire après coup une demande d'alignement, ce que nous avons fait.
Bien sur l'alignement passe par notre propriété, et Monsieur le Maire ne veut rien savoir, il veut que nous démontions ce qui a été fait,
Nous aimerions pouvoir trouver une solution à l'amiable, mais le maire un buté,
Nous avons contacté le vice président du département, qui se renseigne mais nous rappelle que seul le maire peut décidé.
Que pouvons nous faire, nous voulons bien démonter et reconstruire mais pas à nos frais, le maire à fait une erreur, il aurait du avant de donner son accord, nous demander l'alignement, nous n'en serions pas la.