Construire hangar sur terrain agricole non agricolteur

Bonjour,
Je veux construire un hangar sur mon terrain qui est agricole dans le département 34
Je suis passé a la mairie pour des renseignements pour le permis, ils m ont dit que le permis aurais des grandes chances d être refusé .
je ne suis pas exploitant j ai arrache mes vignes il y a plusieurs années de plus je cotise pas a la MSA.
je veux monté le dossier quand même .je voudrais argumenter le plus solidement possible !
cordialement