Droit de fermage et vente du bien

Bonjour,
je suis propriétaire d'un terrain non constructible qui est cultivé par un cultivateur qui me verse un droit de fermage. A la suite du décès de mon mari, je souhaite vendre ce terrain. Une personne souhaite me l'acheter mais le cultivateur qui se dit prioritaire à l'achat refuse le prix demandé alors que l'autre personne est d'accord.
J'ai contacté mon notaire qui me dit que la vente revient à celui qui verse le fermage mm s'il n'est pas d'accord sur le prix.
Que puis-je faire? dois-je renoncer au prix proposé par l'autre personne?
merci de votre réponse.