Récupérer une terre agricole louée

Bonjour,
Mon père à loué une partie de son terrain agricole (1 hectare 200) à des voisins pour qu'ils y hébergent des chevaux.
Le contrat stipule une durée de 3 ans il n'y est pas mentionné bail rural agricole mais Contrat de location. A la suite ces gens sont devenus exploitants agricoles et ont construit un grand abri avec permis de construire puis ont construit des clotures.
Je souhaiterai créer une plantation d'oliviers sur ce terrain dont je vais hériter un jour.
Pensez-vous qu'il soit possible de rompre ce bail à son terme ? Pouvez-vous me donner la procédure à suivre ?
Merci d'avance pour vos conseils.