Terres cultivées par un exploitant sans autorisation

Bonjour,
Suite a une succession, j'hérite de 25 ha de terres dont le fermier a pris sa retraite il y a 7 ans sans successeur.
je découvre qu'un agriculteur voisin cultive ces terres sans autorisation.
j'ai vérifié auprès de la msa ,les terres ne sont pas déclarées cultivées.
je veux vendre ces terres, l'agriculteur "pirate" prétend qu'il a un droit d'exploitation et propose de m'acheter ces terres a la moitié de leur valeur.
Je lui ai envoyé un recommandé avec interdiction de cultiver, il est passé outre.
N'existe t il pas une autorisation d'exploiter pour agrandir une exploitation, et qu'en est il des droits de cet agriculteur ?