Construction d'une clotûre dans une zone classée B. de France

Bonjour,
Nous avons fait bâtir notre pavillon en 2012 dans une zone classée des bâtiments de France (église)
A l'époque, ( conseillé par notre constructeur ) nous avions inclus dans notre permis de construire la clôture qui se composait d'un muret de 60cm de haut et de piliers , en façade de la maison et sur le coté de la route .( sans être sûr de pouvoir la réaliser dans l'année qui suivait faute de moyens suffisant mais cela nous évitait de refaire une autre demande ...)

Le Retour de permis de construire mentionnait des prescriptions sur notre maison (que nous avons suivi) et nous demandait de remplacer notre clôture par du grillage rigide et de la végétation .... donc interdiction de faire ce petit muret ( d'environ 30m en façade)...
La clotûre n'ayant pas été réalisée par la suite , nous avons cette année décidé de débuter les travaux... nous avons donc décidé de faire une demande de travaux et de refaire la demande pour pouvoir faire notre muret (mais juste en façade cette fois ci, car le long de la route nous avons opté pour du grillage avec haie finalement ) : le truc, c'est que nos voisins ont eux , eu le droit de faire un muret avec piliers , exactement ce que nous voulions au départ et n'ont pas eu à mettre du grillage rigide...

Ma question est :

L' Architecte des Bâtiments de France peut il revenir sur sa décision sur le projet de 2012 et nous autoriser cette fois ci à faire notre muret sachant que les voisins en ont tous un (photos du quartier à l'appui) ???
Et s'il refuse, peut on demander au maire de notre commune de nous autoriser les travaux et de passer au delà de la décision de L'Architecte des B. de France??

Information importante : notre voisin d'en face est procédurier dans le quartier .....

Merci pour vos réponses car nous ne démordons pas de notre projet et ne voulons pas de grillage en façade.... Cela me tracasse ...