REFUS PC D' UN BATIMENT AGRICOLE EN ZONE NC

Bonjour,
Nous avons déposé une demande de permis de construire une maison individuelle avec bâtiment agricole, reliés ensembles par une avancée servant de stationnement pour véhicules.
La première demande à été refusée car nous n'étions pas agriculteurs.
Nous avons redéposé une demande après être allés voir le maire en faisant valoir que nous sommes bien inscrits en temps que tel auprès de la chambre d'agriculture et nous avons payé en 2008 une somme d'environ 2000 euros d'impôts au titre "forfait sur bénéfice agricole".
Lorsque nous avons redéposé cette demande, nous avons fait valoir ceci, nous avons écrit une lettre de motivation , il nous a été demandé de redéposer deux demandes, une pour la maison, une pour le bâtiment agricole; Or, nous avons reçu un permis pour la maison, et un refus pour le bâtiment, avec toujours la même réponse, "la chambre d'agriculture refuse car agriculteur n'est pas notre activité principale"
nous avons 3 beaudets du Poitoux, une chèvre, deux oies et une centaine de poules. Nous avons besoin de ce bâtiment afin d'entreposer la nourriture et tout le matériel agricole qui est actuellement dehors.
Est-ce que l'on peut nous refuser ce permis et nous taxer sur un revenu agricole ???
D'avance merci de votre réponse
Christine