Certificat de conformité

Bonjour,
J'ai fait construire une maison dans un secteur proche d'un monument historique, d'où plein de recommandations de l'ABF que je n'ai pas toutes suivies. Je n'ai pas respecté ses demandes pour la couleur des volets, de la rambarde ainsi que pour la plage autour de la piscine (l'ABF demandait du carrelage et j'ai mis du bois). Quelques jours avant l'échéance des 5 mois, la DDE (ce qui s'appelait DDE avant) est venu inspecter et a relevé les non conformités par rapport au permis de construire. J'ai donc reçu un courrier recommandé (Mise en demeure) du maire de la commune me demandant, dans les deux mois, de faire une demande de permis modificatif ou de réaliser les travaux pour me mettre en conformité.
L'entrepreneur qui a construit la maison me dit que si je ne fais rien (ni modificatif ni travaux), je n'aurai pas le certificat de conformité, c'est tout.
A votre avis, est-ce bien ainsi que les choses se passeront si je ne fais rien ?
MCI