Comment rompre un bail rural

Bonjour,
j'ai trouvé une maison à acheter avec du terrain (6hectares).
Un fermier exploite ces prés et bois à la suite d'un accord oral passé avec le vendeur il y a une dizaine d'années. Le fermier a accepté de "libérer" les terres en échange de l'achat d'autres terres que possède le vendeur.
Mais libérer les terres ne veut pas dire renoncer au bail. Dans le cas ou le fermier accepte de résilier totalement le bail par contrat chez un notaire, existe t-il une possibilité que le tribunal des baux ruraux se saisisse de l'affaire?
Et n'étant pas moi-même agriculteur, ais-je le droit de disposer de mes terres comme je l'entends, par exemple les donner en commodat ou les faire entretenir par une société de travaux agricoles, étant entendu que la terre doit continuer à faire vivre ceux qui la travaillent.
Et dans le cas du commodat ( prêt à usage ) existe t-il un risque de me retrouver dans la même situation que le vendeur, en gros se faire escroquer par un fermier à qui l'on a prêté un bien gratuitement, qui a touché la Pac sur celui-ci et qui parvient maintenant à se l'approprier.
Je vous remercie par avance de vos réponses.
Cordialement,
franged