Construction agricole sur terrain agricole

Bonjour,
Je souhaite m'installer sur un terrain agricole avec une activité principale agricole.
J'ai suivi une formation en ce sens.
Pour cette activité, il est nécessaire d'avoir des installations contrôlables au moins 1x/an par un vétérinaire dès la mise en place.
Cependant, les maires de plusieurs communes que j'ai rencontré me disent qu'il ne sera pas possible de construire quoi que ce soit sur des terrains agricoles sans avoir une activité d'au moins 3 ans et qui plus est, qu'ils ne veulent pas voir une telle activité que la commune.
Je me retrouve dans une impasse.
Ma question est, si l'on respecte le POS ou le PLU en place pour la construction, peuvent ils refuser ?
Merci