Maison non conforme au permis de construire

Bonjour,
nous commençons notre construction dans un secteur ABF( aprés avoir essuyer un refus: volumes et dimensions fenetres) apres acceptation du permis. Toutefois notre maison ne respecte pas en tous points notre permis de construire déposé ( couleur de crépi, dimensions de fenetres). Sachant qu'il n'existe plus de certificat de conformité,en cas de controle quels sont les risques? sachant que je suis l'avant derniére maison dans un lotissement de 16 maisons et que les autres n'ont rien respecte( fenetre, crepi, baie vitree,materiaux,etc...)"comme je suis entrain de faire".
Apres discussion avec les voisins, ils en avaient assez de se faire refuser leur permis ( 2 fois pour certain). A aujourd'hui pas de controle
Quels seraient mes recours, puije faire etat des autres constructions comme "défense"
Merci.