Refus de déclaration de travaux par l'architecte des bâtiments de France

Bonjour. Je possède un appartement situé en centre historique, sur une aire de mise en valeur de l'architecture et du patrimoine (AVAP). Pour changer 3 fenêtres, j'ai fait appel à une entreprise renommée et haut de gamme, qui m'a conseillé d'opter pour de l'aluminium teinte bois, m'assurant que le projet serait validé. J'ai donc déposé une première déclaration en mairie, laquelle a été transmise à l'architecte des bâtiments de France du département, ce qui a porté le délai à 2 mois. Cette déclaration a reçu un avis défavorable, au motif que nous n'avions pas prévu un certain nombre de traverses en bois, je passe les détails... Nous avons donc déposé une nouvelle déclaration, avec les ajustements demandés. Or, cette fois, l'architecte émet un avis favorable, mais indique "aluminium proscrit", élément complètement absent de l'avis rendu suite à ma première déclaration de travaux.Je précise que l'entreprise m'a vendu le projet et fabriqué les fenêtres avant même la réception du premier avis. Mes questions sont donc les suivantes: puis-je faire recours sur la base de l'incohérence entre les deux avis, même si, dans le deuxième, l'architecte se réfère à un règlement municipal qui n'était pas mentionné dans le premier? Quelle est le niveau de responsabilité de l'entreprise? Puis-je me retourner contre elle si elle refuse de me rembourser ou au moins de ne rien me demander d'autre que l'accompte déjà verser pour partir sur un nouveau projet? Bref je me suis fait balader par des professionnels du secteur censés m'orienter et par une administration qui ne cite pas les bons règlements dans tous ces avis.Que me conseillez-vous de faire.Merci à tous ceux qui pourront m'éclairer.