Demande de travaux refusée et pourtant...

Bonjour,
Depuis quelques semaines, je suis dépité...
Je rénove au centre du bourg une maison de ville, achetée en 2016. Les murs exterieurs et la toiture ont été conservée comme une grande partie des ouvertures qui avait déjà été changée par notre prédécesseur. Tout le reste a été abattu : cloison, murs intérieurs, doublage (pour pouvoir isoler) et repartir à zéro, pour l'eau, l'elec et les courants faibles.

Le RdC et le 1er sont terminés pièces de vie, sdb et 2 chambres que nous avions besoin et on a fait une pose de 6 mois. On est prêt à poursuivre le dernier étage pour cela on a fait une demande préalable de travaux pour ouvrir deux chassis de toit.
2 mois et demi après, refus de la mairie car avis défavorable de l'architecte des Batiments de France.

Concevable si on est seul autour du fameux monument à protéger... sauf que j'ai déjà un chassis de toit (50x78) qui apporte de la lumière dans l'escalier qui amène au 2ème étage et que j'habite au 6... et que au 2, au 4 et au 8 il y a de 1 à 7 chassis de toit dont certains très récents et au 5 (en face de chez moi, immeuble rénové par la commune pour 6 logements sociaux) avec 3 chassis de toit!

J'ai demandé à rencontrer l'architecte des BTF pour voir avec lui les possibilités... fin de non recevoir! Malgré l'insistance de la secrétaire à l'accueil qui m'a simplement dit "il ne reviendra pas sur sa décision (ce n'est pas forcément ce que je voulais) et à d'autres dossiers en cours ..." (ma seigneurie à parler!).
A titre informatif, je pose la question simple à la secrétaire, à savoir comment tout mes voisins ont pu faire pour avoir les autorisations... dépitée "pour ne pas avoir de refus, on ne fait pas de demande...", a bon c'est possible ca?

En rentrant un petit détour à la mairie, pour prendre rendez vous avec le maire, la secrétaire nous rappelle le lendemain matin pour nous dire, que le maire ne souhaite pas nous recevoir sur ce sujet, car il n'ira jamais à l'encontre des BTF!

Ok, très bien... je prends note... mais il ne m'a pas répondu pour tous les autres chassis de toit qui ont été autorisé ou non autour du même batiment à protéger!
Car si les miens "aurais porter atteinte".... ceux là "porte atteinte à la conservation ou à la mise en valeur de monuments historiques".

Qu'en pensez vous? je suis remonté... de ne pas profiter du même traitement que les autres... surtout qu'il y a une rénovation à 100m de chez moi qui donne directement sur l'église avec 2 nouvelles ouvertures avec chassis de toit!!!! il y a un controle? il y a des passes droits? je suis seul à suivre les procédures?... et me donner ainsi le devoir de respecter les décisions?