Bergerie sur terrain classé NC

Bonjour,

J'ai acheté un terrain de 1 ha classé NC (ou A ) avec une bergerie à retaper. Seulement comme je n'y connaissait pas grand chose en matière de permis etc.le propriétaire m'a laissé croire que je pouvais aménager et rénover cette Bergerie sans problème een faisant une déclaration préalable de de réaménagement. Et comme il est élu à la mairie il m'a même laissé entendre qu'il pouvait y avoir une possibilité d'obtention de permis en changement de destination. J'avoue que j'ai pris les choses à la légère et fait confiance à mon vendeur. le terrain m' a coûté qlq 80 000 euros + frais de notaire. J'ai donc d'abord déposé une demande de permis de rénovation qui m' été refusé aussi sec. A la mairie le service du cadastre m'a même dit que je ne pouvais pas toucher à la Bergerie même pas reprendre les dégradation du toit en tuile ou des murs qui s'écroulent par endroits. J'ai un gros problème avec le vendeur qui est aussi mon voisin immédiat car depuis la signature je ne l'ai plus revu ... Il m'évite depuis lorsque je suis sur le site. Ma question est : Ai-je un recours quelconque ? Puis-restaurer ma bergerie à l'identique sans rajout ? ne serait que pour y séjourner aux beaux jours ... Puis- je y installer un petit chalet en bois de -20 m2. merci d'avance