Vente d'une maison avec la terre louée

Bonjour,

Voilà 5 ans que j'essaie de vendre une maison héritée de mes parents, avec 1ha de terre attenant louée à un l'agriculteur.
Ayant des difficultés à vendre la maison car ont me demande si pas loin il y a une ligne haute tension, porcherie etc..., et il s'avère que tout ceci existe.
J'ai donc choisi l'option de vendre la maison avec la terre (vendre en une seule unité), en la proposant d'abord à l'agriculteur en question, comme mon papa avait fait quant il était locataire de la terre, pour avoir la terre il avait acheté également la maison, ce qui me paraît logique.
Mon notaire m'informe que je ne suis pas dans mon droit, je ne peux vendre la terre a quelqu'un d'autre qu'à l'agriculteur puisqu'il est en possession d'un bail, sans la terre ma maison reste. invendable.
D'avance, je vous remercie de votre conseil.