Récupérer un terrain agricole

Bonjour à tous,
je n'ai rien trouvé dans les différents forums ou même sur internet qui réponde à ma situation. Je m'en remet donc à vos connaissances!
Ma situation:
Derrière chez moi je possède une parcelle de terrain agricole loué par un ancien agriculteur du village. Ce terrain nous a été donné en héritage il y a quelques années, et l'ancien paysan continue de nous régler annuellement le loyer (dérisoire), mais il n'existe pas de bail à proprement parlé (si ce n'est qu'il a toujours loué ce terrain à mon beau père, et que du coup il continue à nous le louer).
Le hic c'est que ce n'est pas lui qui le cultive (je ne connais pas celui qui l'exploite), il le sous loue à un autre exploitant.
J'aimerai récupérer ce terrain pour y mettre un verger, mais je ne sais absolument quelles sont les démarches, et les délais qu'il faut respecter.
Si quelqu'un avait la gentillesse de m'expliquer tout cela ça serait génial!
Merci d'avance pour vos retours.