Annulation de l'achat d'une maison pour non conformité

Bonjour,

Nos avons signé le compromis pour l'achat d'une maison début juin.
Notre notaire nous a fait parvenir la décision de la mairie de ne pas accorder ce certificat pour les raisons suivantes :
- Implantation incorrecte de la maison par rapport à la limite nord du terrain
- Sous-sol non prévu au permis de construire

La mairie précise également que les règles d'urbanisme du lotissement n'ont pas subi de modification depuis l'achèvement des travaux

Notre notaire nous signale qu'il y a peu de chances que le dépôt d'un permis rectificatif aboutisse. Les risques que nous encourons nous dit-il sont :
- l'impossibilité de reconstruire à l'identique en cas de destruction
- de ne pas pouvoir envisager des travaux nécessitant un permis de construire sans que la mairie ne demande au préalable la mise en conformité par rapport au permis de construire existant.

La non conformité ne figure pas dans les clauses de sortie du contrat.

La lourdeur des non conformités nous permettent-elles d'envisager de sortir de cette vente ?

Merci pour votre aide