Construction existante à moins de 500m d'un Bâtiment de France

Bonjour,
Le clocher, où j'habite, a été classé, depuis peu, comme monument historique. De ce fait, toutes les constructions nouvelles sont soumises à l'approbation de l'architecte des bâtiments de France dans un rayon de 500 mètres.

Ma question est : Quel en est-il pour les constructions existantes, dans ce rayon, qui ne correspondent pas aux critères imposés pour la protection du site ?

Pour exemple, il existe, dans cette zone, un vieil hangar sans crépis avec une toiture en tôle ondulées en amiante et un silo, en partie rouillé, de plusieurs mètres de haut. Ce hangar ne sert plus à une activité professionnelle. Doit-il être réaménagé (crépis, toiture, silo enlevé) où détruit ?

Je vous remercie, par avance, de votre réponse.

Bien cordialement