Droit de cession d'une terre agricole

Bonjour,
Je devais me porter acquereur d'un terrain constructible d'environ 800m2 avec, dans la continuité, 2600m2 non constructible en terre agricole.Cette partie de terrain etant loué par un agriculteur,celui-ci veut s'en porter acquereur et le propriétaire du terrain me dit que c'est l'agriculteur qui est prioritaire et je ne peut donc plus l'acheter.Est-ce réelement la loi et le propriétaire n'est-il pas libre de vendre à qui il veut?