Terrassement non conforme au permis

Bonjour

La construction de notre maison s'est achevée il y a deux mois.
Elle se trouve être plus haute de 40 cm au maximum. Nous n'avons reçu aucun courrier officiel juste des paroles du maire et des voisins.
De plus le remblaiement ne respecte pas le permis de construire. En effet nous avons remblayé 90 cm sur tout le terrain alors que sur le plan seule la terrasse était remblayée plus haute que le terrain naturel.
Les voisins direct situé en contrebas car le terrain est pente nous accuse de non respect du permis et ceci créé une vue chez eux. En effet leur terrain est naturellement plus bas que le notre et ils ont construit leur maison en dessous du terrain naturel. Aussi il nous demande d'enlever l'ensemble du remblais comme sur le permis ou de détruire la maison.
Le remblais nous permet de rendre le terrain plat et nous ne savions pas que cela n'avais pas été déclaré comme tel.
Cela ne les dérangeait plus si nous fesions un mur en commun.
Mais cela étant trop couteux pour nous car ils veulent décaisser sur 1.60 de haut nous leur avons indiqué vouloir faire un mur dans notre terrain uniquement.
Ils n'ont pas apprécié et décident de nous attaquer pour non respect du permis.
Les exhaussement et rehaussement étant interdis au plu sauf si fait dans le cadre d'un permis modificatif, comment pourrait on rendre le terrassement legal ?