Préemption maison d'habitation

Bonjour,

j'ai passé un compromis de vente en septembre 2010.
Le bien est composé d'une maison d'habitation qui l'a toujours été, située en zone naturelle, sur 4900 m² de terrain, celui-ci en zone agricole. La moitié du terrain comprend des arbres fruitiers ainsi qu'un potager et l'autre moitié est nue.
Le problème est que la Safer veut s'approprier le bien sous prétexte que le terrain est situé en zone agricole, ceci pour le compte du voisin (un agriculteur peut scrupuleux qui veut la maison pour la louer).
Aurais-je mes chances d'obtenir le bien face à un tribunal, sachant que j'ai obtenu un permis de construire pour rénover la maison?