Achat dun bien immobilier

Bonjour tout le monde ,
J'aurai une petite question suite à un achat immobilier .
Alors voilà je suis sur le point d'acheter un terrain en zone agricole sur lequel ce trouve une maison cadastrée comme habitation en très mauvais état ( Moitiée écroulée
J'ai appelé l urbanisme qui me dit, que il a y'a que un agriculteur qui peut y remonter .
J'ai creusé un peut plus et je pense pouvoir y remonter à l'identique .Ma question est la suivante , se terrain je vais l'acheter à très bas pris vu là réponse de l'urbanisme , mais si je réussi légalement à contourner cette décision est ce que le vendeur peut me reprocher sont faible coût d'achat par la suite ? Merci de vos réponses
Cordialement