Contraintes bâtiment de France après compromis

Bonjour,

J'ai signé un compromis de vente pour une maison, les 10 jours de rétractation sont passés et j'ai appris que la maison était dans le périmètre des bâtiments de France entre 400 et 500 mètres sans visibilité aucune du lieu classé. Bien sûr personne ne m'a prévenu avant alors que l'agence comme le notaire le savait. Nous devons effectuer un remplacement des fenêtres et là, les bâtiments de France nous impose des contraintes importantes, couleurs, matériaux, taille des carreaux, volets... La maison est sur une avenue ou aucun maison ne respecte quoi que ce soit, il y a de tout, du volet bois au volets coulissants PVC. Pour certaines maisons les modifications ont été faites après classement. Ma première question serait dans quelle mesure dans ces conditions les Bâtiments de France peuvent imposer des telles contraintes, sachant pour rappel qu'il n'y a aucune visibilité possible depuis le lieu classé.
Si nous devons absolument respecter les contraintes des Bâtiments de France, une deuxième questions. Sur le compromis de vente, il n'y a aucune condition suspensive sur le remplacement des fenêtre ou modification de la façade. Par contre il figure en condition suspensive, le montant de l'emprunt, la durée et le taux. J'ai des offres qui ne correspondent pas à ce qui est défini, soit le taux, soit la période soit les deux sont différents et supérieur à ce qui est défini. Cela est-il suffisant pour faire jouer la clause suspensive?

Merci d'avance pour vos réponses