Construction d'un hangar pour un élevage dit familiale

Bonjour,
je suis dans un situation bien particulière, je suis fonctionnaire au sain d'une commune et souhaite faire en plus de mon activité un élevage dit familiale.
j'ai le droit de faire mes deux activités ensemble, j'ai donc acheté un terrain agricole dans le but de faire l'élevage et j'aimerai y construire un hangar dessus de 10x15m.
après avoir pris rendez vous avec le maire il me soutien que je n'est pas le droit de construire mon hangar car mon activité d'éleveur n'est pas ma principal activé.
c'est pour cela que je fait appel a vos réponse.
est-ce que j'ai le droit de construire mon hangar même si mon activé principal n'est pas celle éleveur ?