Désistement de l'achat d'un terrain

Bonjour. Nous avons signé en Novembre 2020 une promesse de vente pour l'achat d'un terrain. Lorsque le constructeur a voulu déposer le permis de constuire, nous nous sommes apercus que le permis d'aménager n'avait pas été demandé. Ce terrain est situé dans une zone sauvegardée et de plus, soumis à des obligations de construction par les Architectes des Bâtiments de France, choses que nous ignorions à la signature du compromis. Si elles avaient été connues, jamais nous n'aurions envisagé ce terrain. Or, après l'étude de l'architecte, les contraintes architecturales émises par ces derniers ne correpondent pas à notre projet. Malgré tout celà, la mairie d'où dépend ce terrain nous accorde un permis de construire mais avec toutes les contraientes émises par l'A.B.F. ( ce qui ne correpond en aucun cas au dossier déposé). Au vu de tout ceci, pouvons nous faire annuler ce permis de construire et nous retirer de la vente de ce terrain sans obligation de payer le dédit? De plus, toutes les dates de la promesse de vente sont largement dépassées. A vous lire et vous remerçiant par avance, salutations.