Avis favorable des ABF mais mairie qui refuse

Bonjour,
Voici mon problème, j'ai fait une demande préalable de travaux (changement de fenêtres vétustes par des fenêtres en aluminium et persiennes métalliques) à la mairie. Je suis dans une zone d'un bâtiment historique et ma demande a été transmise, avec les devis de l'artisan aux Architectes des Batiments de France. Ces derniers ont émis un avis favorable (j'ai l'avis entre les mains).
Le Maire a établi un arrêté mais me demande de faire installer des fenêtres en bois (hors budget). J'ai rappelé l'urbanisme de la ville en leur disant qu'il s'était trompé et qu'il me refasse l'arrêté. Il a accepté mais le lendemain, je l'appelle pour savoir s'il a corrigé la faute sur l'arrêté. Il refuse et veut qu'on installe du bois.
Dans la ville, beaucoup de propriétaires ont installé des fenêtres PVC, des volets roulants... Quels sont mes recours, l'avis de l'ABF dans une zone de bâtiments historiques peut-il être plus valable que le bon vouloir du maire ???
Merci de votre réponse