Achat d'un bien avec fermage

bonjour, je viens d'acheter une maison avec 4 h de terrain, et une grosse partier était louée par l'ancien propriétaire à un cultivateur. Lors de mon achat, ce cultivateur n'a pas désiré exercé son droit de préemption devant le notaire. Ce cultivateur paie une redevance de location (minime) ce qu'il a fait pour la première fois avec moi, lors de la signature de l'acte de vente, mais je voudrais récupérer mon terrain car je vais en avoir besoin pour un futur projet en cours. Je ne suis pas agriculteur, mais je veux y élever des chèvres.(je suis actuellement employé communal) Comment dois-je faire pour récupérer ces terres?
Je remercie la communauté de bien vouloir m'aider.