Bail de fermage et petite parcelle

Bonjour,
Je loue (par acquisition) un peu moins d’un hectare, et souhaite reprendre les terres exploitées. Le payement est fait pour une partie des terres, celles qui sont dans le bail. Or, l’exploitation se fait aussi sur une partie de la parcelle de la propriété qui ne figure par dans le bail et que l’exploitant utilise, il a pris l’initiative de poser des clôtures sans modifier le bail. Je souhaite reprendre les terres utilisées sans bail, et celles utilisées avec bail. La préfecture m’a indiqué que la superficie des terres sous bail entre dans la catégorie de petite parcelle. Comment devrais-je procéder ? Je vous remercie d’avance.