Élément caché compromis de vente

Bonjour,
J ai besoin de conseil.
J ai signé un compromis de vente pour un terrain on m indique en le visitant qu'il s agissait d un lotissement. J ai posé la question pour savoir qu'elle etait les règles d urbanisme,on me dit que si mon projet se rapproche de celui de la maison d à côté il y aura aucun soucis.

Or en posant mon permis de construire j apprends en réalité que le terrain est sur une zone inscrit dans le périmètre des architectes des bâtiments de France, et qu'il y aura sans doute des prescriptions. En recevant la liste des prescriptions on se rend compte que ca va changer bcp de choses à notre projet.
Personne ni même sur le compromis de vente, faisait référence à ce gros détail. Pour nous il s agit d une information qui nous était due et capitale. La propriétaire nous dit qu'elle n était pas au courant, le notaire me dit de m arranger ac elle pr stopper la vente.
Nous sommes en aucun cas fautifs et on nous dit que nous recuperions pas l acompte.
Nous sommes perdus. Nous sommes passés par une agence et elle me dit que le notaire n a presque aucun pouvoir sur ce pb.
Comment faire pour rompre la vente car il y a eu erreur,ou quelque chose de caché remettant en question le projet.

Merci bcp