Achat maison sans permis de construire

Nous avons signé un compromis mi avril. Il s avère qu après s être renseigné a l urbanisme il n existe aucun permis de construire ni autorisation. nous n avons pas encore appelé le notaire pensant qu il est au courant. le fait est que le bien ne pourra etre régularisé car il ne respecte pas les regles de l urbanisme. Peut on rompre le compromis surtout que nous avons versé les 10% ? le notaire nous a peut être intentionnellement caché la vérité. est il plus sage de demander un refus de pret à la banque ?
Merci de vos réponses.