Permis de construire ou demande d'extension corps de ferme

Bonjour,
mon épouse et moi allons racheter un corps de ferme qui n'est plus en activité depuis le décès de mon beau père (agriculteur en retraite). afin de ne pas perdre le patrimoine familiale. ce corps de ferme n'est plus en activité depuis plus de 02 ans. la maison principale dite de fonction ou maison de maître de 440 m2 est insalubre et inhabitable car trop de frais à engendrer. Avons nous le droit de la démolir pour construire une maison neuve à 10 mètres dans le jardin ou devons nous faire une extension pour établir notre logement ce qui ferait une surface habitable assez conséquente, 600m2. on nous dit qu'on a pas le droit de construire car pas agriculteur alors que la ferme ne sera plus jamais en activité agricole. comment pouvons nous nous y installer? les autres longère sont trop onéreuse pour une rénovation. Merci de m'aider.