Achat immobilier / Menuiseries PVC / Monument historiques !

Bonjour.

Je suis en train d'acheter une petite maison qui est équipée de menuiseries PVC récentes double vitrage...
J'ai signé le compromis de vente il y a environ un mois, le délai de rétractation est donc passé.
Je dois normalement signer l'acte de vente dans un mois et demi.
Sur la façade principale de cette maison, j'ai le projet de créer des ouvertures supplémentaires afin de bénéficier d'avantage de lumière naturelle et y mettre des menuiseries PVC comme celles déjà présentes sur la maison.
Afin de pouvoir engager les travaux au plus vite dès que je serai en possession des clés j'ai déposé ma demande de déclaration préalable à la mairie quelques jours après avoir signé le compromis.
Il y a quelques jours j'ai reçu un courrier dans lequel on m'indique que l'on me répondra non pas sous 1 mois mais sous 2, car cette petite maison est situé dans le périmètre des monuments historiques et que de ce fait le dossier doit être transféré à l'Architecte des bâtiments de France.
Ce dernier point m' a éveillé des soupçons concernant le droit de mettre des menuiseries PVC.
Après quelques recherches et prise de renseignements il s'avère obligatoire de mettre des menuiseries en BOIS.
Suite à cela j'ai questionné le vendeur pour savoir s'il avait demandé l'autorisation pour mettre ses menuiseries PVC. A sa réponse très floutée j'ai bien compris que non.
En conclusion, pour être en conformité, il faut remplacer toute les menuiseries PVC par des menuiseries en BOIS, ce que je n'ai pas prévu dans mon budget.

A un mois et demi de signer l'acte de vente est-ce que je peux renoncer à l'achat de la maison pour les raisons citées ci-dessus ?

Est-ce que je peux renégocier le prix de vente de la maison ?

Merci par avance.