Construire sur terrain agricole, devenir agri

Bonjour,

Mon grand père (agriculteur à la retraite) possede un terrain de 20 ha ds le vaucluse (13 de bois et 7 d’anciennes vignes).
Il n’y a pas de maison sur ce terrain et il n’est plus donné en fermage, il est donc « en friche »

Je souhaiterais pouvoir construire ma maison sur le terrain ou une partie du terrain qu’il me vendrait.
Faut il que je devienne agriculteur ? (si oui qu’est ce que ca implique pour ma femme et moi qui avons déjà un emploi ) peut on obtenir ce statut en plantant quelques ha d’olivier par exemple tout en continuant à travailler ?)
De quels autres moyens pourrais je disposer pour réaliser cette construction ?
Merci de votre aide