Problème d'urbanisme

Bonjour,
Nous ne sommes pas agriculteurs et nous avons acheter une ancienne ferme agricole que nous avons rénover. Cette ferme est en zone agricole, et nous voulons accueillir une association dans le hangar. La mairie refuse le changement de destination du hangar pour la raison de la zone A.
Peut-on refuser l'accueil d'une association sur une propriété privée ?
Malgré tout, cette année, le POS de la commune devient PLU, notre habitation passerait en Nh et le hangar resterait en A.
Est-ce possible d'avoir deux zonages différents sur la même propriété ?
Sachant que notre projet serait réalisable si le hangar était en Nh, celui-ci ne serait-il pas réputé avoir la même destination que le local principal (l'habitation) ?
Petite précision : le hangar serait un ERP 5° catégorie sans logement (moins de 20 personnes), sans modification de l'existant et sans nuisances pour les exploitations alentours.
Merci de vos réponses