Comment récupérer un terrain en indivision

Bonjour,
Nous possédons depuis 1980 un terrain agricole en indivision avec mes 2 soeurs. Nous habitons dans le même département. Nous y allons de temps en temps pour ramasser les châtaignes et les noix. Ce terrain est utilisé par un agriculteur mais sans bail verbal ni écrit et sans avoir reçu un seul centime de sa part. Il y a quelques années en arrière il a coupé des noyers, mis un parc à bestiaux sans notre autorisation. Il paie la MSA mais apparemment à ce que nous avons su lorsqu'une fois ma soeur était sur notre terrain, un copain à lui est venu. Elle lui a dit qu'elle était la propriétaire et il lui a dit qu'il louait ce terrain au fameux agriculteur et bien sûr sans que nous soyons au courant. A présent il veut arrêter le métier d'agriculteur ayant un problème à un pied. Par contre il nous harcèle pour que nous donnions notre accord pour qu'il puisse mettre un agriculteur à sa place (ou peut être ce fameux copain rencontré par ma soeur). Nous payons les impôts locaux de ce terrain depuis le début de l'héritage. Quelle est son intention malveillante (car il y a anguille sous roche) et comment faire pour pouvoir tout arrêter avec lui et son copain ?
Merci de votre réponse rapide car il est déjà revenu à la charge et il ne va pas tarder de revenir car cela a l'air urgent pour lui et cela nous inquiète.