Attestation de conformité obligatoire ou non?

Bonjour,
Nous avons fait construire notre maison et avons transmis l'attestation d'achèvement des travaux à la mairie comme nous l'avait demandé notre constructeur.
Le responsable du service est venu et a contesté la conformité. En effet, nous sommes en train d'effectuer les travaux extérieurs et les terres doivent être remises à niveau tel que sur le permis.
Nous avons reçu un courrier nous demandant d'effectuer les travaux restants ou de modifier le permis de construire.
Ma question est : Suis-je obligée d'avoir cette conformité ?, est-ce que je risque des pénalités financières ? (la personne nous a informée qu'à sa prochaine visite, si les travaux n'étaient pas effectués, nous aurions une amende).
Nous avons demandé une annulation de la demande de conformité puisque nous avons d'autres permis en cours comme la clôture, mais si à la fin je ne dépose pas l'attestation d'achèvement des travaux, est-ce que la mairie pourrait nous imposer une nouvelle visite?