Achat Terrain agricole avec Maison

Bonjour,

Je souhaite acheter une maison avec terrain a un exploitant agricole qui part à la retraite.
L'exploitant vend son exploitation agricole a une personne et vendrait la maison avec un bout de terrain a moi (ce terrain est enregistré au cadastre avec la maison) donc bien distincte de l'exploitation.
Le notaire m'a informé que il y a un risque que la mairie refuse la vente (dans la mesure ou elle serait informé de celle ci) et que je peux me faire exproprier et dans ce cas me retourner contre le vendeur. Il m'a dit que c'est dans la théorie et que dans la pratique cela ne se fait jamais..
Je n'ai pas les bons termes mais le changement d'exploitant à non exploitant agricole ne peut etre que refusé par le maire (il n'a pas droit d'accepter) mais dans la pratique pas de problème.. aussi le notaire m a expliqué que ce risque est de 3 ans et apres il y a au bout de 3 ans il y a prescription..

Qu en pensez vous?