Un paysan cultive mon terrain

Bonjour,

voila, au moins de décembre j'accède a la propriété d'un terrain une partie constructible pour ma maison et l'autre non constructible.
Cependant les anciens propriétaires avait laissé un paysan cultivé le terrain. Lors de la vente ils ont tenu informé celui ci qu'il ne devait plus le cultivé. c'était un accord oral !
Nous nous sommes rendus sur notre terrain ce weekend , et avons remarqué que celui avait retourné le terrain sans autorisation de notre part nouveau propriétaire.
J'estime que celui ci a violé la limité de propriété. Nous allons le voir ce soir pour en discuter, s'il est ok nous pensons faire un bail reconductible tout les ans. S'il n'est pas trop tard car nous savons que si celui ci prouve qu'il entretient le terrain un bail de 7 ans se met automatiquement en place en sa faveur.
De plus il est venu sur nos terre mais a cultivé encore plus que ce qu'il faisait auparavant. Du coup sur un terrain de prés de 4000m², nous construisons la maison sur la partie constructible il ne nous reste seulement 300m² a l'arrière pour le jardin.

Pouvez me donner des renseignement ! que faudrait il faire exactement ?
Merci par avance