Atelier + potager en terrain agricole

Bonsoir,

On s'intéresse à un petit terrain agricole avec un ancien atelier (à peu près 200m2 tout compris). On aimerais avoir un potager et y aller pour travailler tranquillement de temps en temps (écrire, faire de la musique, par exemple). Mais sans changer l'usage ni faire des travaux, puisque le changement de destination n'est pas envisageable dans la zone.
J'aimerais savoir si cela est possible, sachant que nous ne sommes pas agriculteurs professionnels et que le terrain est en zone classée inondable (potentiellement, même si le fleuve est vraiment loin et que cela n'est jamais arrivé).
Merci par avance.