Compromis sans la clause d'acceptation permis

Bonjour,

Nous avons signé un compromis de vente pour une maison en copropriété en zone classée...
Nous partageons la copropriété avec la soeur de mon mari qui habite l'autre partie de la longère.
Nous nous sommes un peu précipités car c'est une aubaine pour nous d'acquérir un bien à cet endroit à ce prix là ! famille recomposée, rapprochement avec les ex, travail... vie plus simple (là c'est l'enfer pour nous et les enfants, passons notre temps et notre argent sur la route) et économie de trajets !
Bref... aujourd'hui cette maison est bien trop petite pour y vivre à 5 et prévoyons une extension, dde d'accord mais la mairie a l'air bien réticente ! sans parler que n'avons pas encore vu l'architecte des bâtiments de France...
Comme des "ânes" nous avons accepté de ne pas mettre la clause "ss réserves d'acceptation de permis de construire" par pression du vendeur... qui nous assurait qu'il n'y avait aucun problème ! nous n'avons pas eu le règlement de copropriété non plus. Oui, du grand n'importe quoi ! mais on n'y connaissait pas grand chose...
La mairie est réticente car nous souhaitons agrandir en façade (le seul endroit possible) ce qui dénature la bâtiment existant. J'ai beau leur assurer que nous respecterons le style etc... ça n'a pas l'air gagné du tout !
La date de signature définitive avance à grands pas et je n'en dors plus ! Les banques n'ont pas encore donné leur accord pour le prêt (mais cela semble bon).
Que pouvons nous faire ? nous sommes perdus !
Merci d'avance pour vos précieux conseils... je vous avoue avoir honte d'avoir été aussi naïfs...