Permis modificatif refusé

Bonjour,

J'ai eu mon permis de construire accordé, visite de la DDE sur le chantier qui m'impose de déposer un modificatif concernant 40cm au niveau de la hauteur, rajout de pavés de verre sur le coté tous ça dans le permis modificatif, mais j'ai reçu un refus du maire un peu avant 2mois me disant "la construction n'a plus rien à voir avec le permis initial et m'invite à déposer un nouveau permis" alors que les modifications ne sont que des détails.
Aujourd'hui je ne sait pas quoi faire.