Bail rural problématique

Bonjour a tous, permettez moi de vous présenter ma situation.

Nous sommes une famille de 5 personnes ayant hérités de nos parents un corps de ferme et 30ha de terrain agricole.

Aujourd'hui nous souhaitons vendre le corps de ferme, en ajoutant a la négociation quelques morceaux de parcelles contiguës au terrain de la maison, afin de faciliter la vente.

Alors que notre mère était vivante, elle a signé un contrat de bail rural avec un agriculteur.

Aujourd'hui nous souhaitons dénoncer ce contrat pour les raisons suivantes :
- L'agriculteur avait promis (oralement hélas) que lors du décès de notre mère, il ne s'opposerait pas à ne plus cultiver quelques parcelles autour du corps de ferme afin de faciliter la vente de la maison. Or aujourd'hui, nous avons déjà manqué deux ventes car il a fait des histoires au moment des visites, du coup les acheteurs potentiels ont flairé une mauvaise histoire.
- Nous estimons qu'il y a un vice de forme sur ce bail, car a l'époque, seule notre mère a signé, alors que nous possédions en indivision les parts de notre père. D'après ce que j'ai pu lire, dans ce cas de figure, le bail doit comporter les signatures de tous les propriétaires de l'indivision pour être valable.

Nous souhaitons donc dénoncer ce contrat, et en refaire signer un nouveau a l'agriculteur, sur lesquels nous voulons enlever les parcelles autour du corps de ferme, que nous lui louerons plus tard, lorsque la vente sera effective et que les parcelles auront été redécoupées.

Pouvons nous dénoncer rapidement ce contrat afin de pouvoir vendre sereinement la maison ?
Quelle est la procédure pour effectuer cette opération rapidement ?

Merci de votre aide.