Refus de CU pour des raisons futiles

Bonjour,je suis l'heureux propriétaire d'un batiment a usage agricole racordé en électricité et eaux sur un terrain d'environ un hectare.ce batiment ce situe dans un village et fait a peut pres 45metre carré et n'a jamais eu d'usage d'habitation.Avant dans devenir propriétaire j'avais fait une demande de CU a la DDE qui m'a été refusé pour la raison suivante :Le changement dedestination du batiment en logement ne pourra etre autorisé compte tenu de son caractere d'anexe non représentative de l'architecture traditionnelle locale.En effet,le batiment réalisé en parpaings non enduits et recouvert en plaques de fibre ciment ne présente aucun intéreret architectural pouvant autorisé sa transformation en logement...(date:19/12/2003). En fait mon batiment est construit a plus des trois quart en pierres de construction,seul un petit agrandissement avait été construit en parpaings a l'époque de l'ancien propriétaire,en l'ocurence mon père.En ce qui concerne la toiture il est bien évident qu'elle était couverte en tuiles a l'époque (mais ça date) puis suite a l'agrandissement recouverte en plaques de fibre de ciment. Le but est d'habiter ce batiment,mais je me pause plusieurs questions,es que je dois dans un premier temps faire une demande de permis de construire pour un agrandissement du local dans un but de faire un garage,un atelier de stockage etc...puis une fois cela réalisé profité de cette extention afin de refaire une demande de CU afin de passser le batiment en habitation.Dois je remettre de la tuile sur ma toiture?je suis actuellement a la recherche d'emploie si je m'installe dans ce batiment peut on me mettre dehors en sachant que c'est mon unique bien?Merci pour toutes vos réponses qui seront vraiment les bien venus,a bientot