Récupérer une terre agricole

Bonjour,
Par donation, je suis devenu propriétaire de nombreuses parcelles de terres et de bois qui appartenaient à ma voisine (sans héritier), qui souhaitait que quelqu'un s'occupe de ses biens lorsqu'elle ne serait plus là...
Ce sont des parcelles de peu de valeur, classées comme pâtures, landes et bois. Certaines font parties de 3 "parcs" où des éleveurs mettent leurs bovins du printemps à l'automne. La location est plutôt un prêt, un accord oral, sans aucun paiement. De plus, certaines parcelles sont si mal entretenues qu'elles sont gagnées par les buissons et les ronciers.
J'ai déjà récupéré, depuis plusieurs années 2 parcelles que j'utilise pour mon âne. L'agriculteur n'était pas très content, mais il m'a laissé faire. Je l'en avais simplement informé par courier simple. Par contre, je m'aperçois qu'il continue de les déclarer au RPG (qui recense les îlots de cultures) et donc qu'il perçoit des subventions pour ces terres que j'utilise et entretiens moi même depuis plus de 5 ans! En fait, il se considère encore comme exploitant de ces deux parcelle... comment faire pour qu'il se mette en règle?
D'autre part, je souhaite récupéer 1 ou 2 parcelles, très mal entretenues, qu'un autre agriculteur n'utilise que très rarement (il n'y a pas mis de vaches depuis 2 ans) : je voudrais les débroussailler pour accéder au bois attenant. Quelle démarche suivre, pour ne pas déclencher de guerre de tranchée et récupérer mon bien pour l'entretenir?
Dans l'attente d'une réponse...
Cordialement