Terrain privé en exploitation?

Bonjour,

Mon conjoint et moi même souhaitons acheter une maison avec un grand terrain (entre 4 et 10 ares) a but d'habitation pour ensuite utiliser une grosse partie du terrain pour creer une production de fruits rouges et/ou de safran.

Est-i possible de le faire sachant que le terrain n'a pas pour vocation d'être agricole au départ?
Si oui, quelles sont les démarches administratives a faire, si il y en a? ou peut etre n'est-ce pas nécessaire (mais j'en doute)
Doit-on aussi demander l'autorisation a la DRAAF avant d'exploiter?

j'avoue être un peu perdue

Merci pour votre aide