Modification habitation zone A

Bonjour,
J'ai fait une demande de certificat opérationnel auprès de ma mairie qui m'a été refusé,est- il raisonnable de faire un recours gracieux?:
Ma demande porte sur la transformation de mon habitation située en zone a(moi meme exploitante agricole)en habitation locative constituée de 4 appartements.
La DDE m'a expliqué que cela ne constituait pas un changement de destination ,donc pas besoin de permis de construire.
Je ne comprend donc pas le refus de la mairie,qui se justifie par le fait que mon projet n'a aucun lien avec mon activité.
Ma demande porte uniquement sur l'habitation non pas sur les batiments agricoles.
Qu'en pensez vous?
D'avance merci