Refus déclaraton préalable porte d'entrée ABF

Bonjour a tous,
Mon conjoint et moi-même venons de faire l'acquisition d'une vielle maison dauphinoise (38) dans un secteur classé Bâtiments de France.
C'est une très belle maison qui nécessite de gros travaux de rénovation intérieur comme extérieur. Nous sommes tous deux artisan dans le bâtiment et réalisons les travaux nous-mêmes. Par contre nous faisons poser de nouvelles fenêtres/volets et porte d'entrée par un menuisier expérimenté.
Nous avons donc déposé notre demande préalable pour effectuer ces travaux .
La demande vient de nous être retournée refusée.
En effet les architectes du bâtiments de France on considéré que la porte d'entrée actuelle est trop "belle" donc il faut la laisser ...
Sachant que celle-ci date et n'a pas été entretenue, le bois est complètement éclaté, difficile à récupérer, ne donne aucune isolation et point de vue sécurité, on peut se la faire fracturer avec un bon coup de pied!
Quel recours pouvons nous avoir ?
Nous avons respecté tous les contraintes de couleurs, fenêtre en bois à six carreaux, volets dauphinois etc..
Dans le village beaucoup d'autres vieilles maisons du même type que la nôtre ont été gâchée par des volets roulants et fenêtre PVC alors que c'est interdit !
Comment faire prouver notre bonne foi !
Merci par avance pour vos témoignages et réponse!