Résilier une location d'un terrain

Bonjour,
Je loue un terrain d'environ 3000 m2 à un particulier qui est en retraite depuis 4 mois.
Hors, je n'ai pas signé de bail. Ma question est la suivante: je sais qu'un accord verbale suffit pour élaborer un contrat entre 2 personnes ,sachant que ce terrain n'est louer que pour un usage d'aggréement et pour éventuellement un potager, pourrais je reprendre mon terrain quand je le désire dans quelques années, sans avoir de difficulté à le reprendre comme par exemple les personnes qui loue à un agriculteur.