Annuler l'achat d'une maison suite au changement du PLU

Bonjour,
Nous avons signé depuis maintenant 3 mois un compromis de vente pour une maison à rénover quasiment entièrement, en copropriété. Nous voulions y construire un véranda, et une partie de la maison est à reconstruire entièrement dont la surface fait 16m2. Le vendeur, qui est d'ailleurs un marchand de bien, nous a affirmé que pour la véranda il ne faudrait que l'accord de la copropriété, qui sera joint à l'acte authentique. Pour ne pas perdre encore du temps après la signature de l'acte authentique,nous avons demandé à la mairie (dépôt du dossier de demande préalable) si notre projet était possible. Il s'est avéré que le PLU a changé et que désormais notre futur maison est dans une marge de recul pour une future route ( la mairie n'a pas exercé son droit de préemption) et aucune construction même temporaire comme un pergola n'est autopsiée à y être construite. La mairie nous a don refusé notre demande préalable.
Nous voudrions donc annuler l'achat de cette maison.
Notre question est est ce que si on se rétracte maintenant du fait de changement du PLU serons nous obligés de verser la pénalité? Car on ne peut plus y faire ce qu'on voulais et même on perd la surface de ces 16m2 qui sont à reconstruire.

P.S. Nous avons déjà l'offre de prêt.