Problème avec les batiments de france

Bonjour,
j'ai mi un terrain constructible en vente et situer prés d'un château classé.la 1ère fois il mont indiquez que ce n'était pas constructible car trop petit(720m2????) et sans venir le voir.après avoir insister avec le maire pour qu'ils viennent sur place vérifier par eux mêmes ils mont donner leur accord pour construire sauf que les 3 acheteurs que j'ai eu et qui ont déposer des projets de construction.ont eu des refus sans qu'ils leurs disent vraiment quelle sont les contraintes réelpour construire es bâtiments de france ce crois tous permis et j'aimerai s'avoir si ont peu intervenir au dessus d'eux pour avoir des explications car il ne prenne même le tant de répondre a une lettre même en recommander.merci d'avance pour vos réponses