Achat de maison sur terrain agricol

Bonjour

Ben, comme ça, à vue de nez... oui!
Mais pourquoi cette question ?

je pensais que sur un terrain agricole on pouvez juste faire une maisonnette
qui pouvais ce démonter a tout moment et il fallait être aussi agriculteur pour y habiter.
car moi même je ne suis pas agriculteur et je ne veux pas que plus tard une fois que j'ai acheter la maison ,que je puisse avoir des problème.
je vous remercie d'avoir pris ce temps pour me répondre je vous souhaite une très belles journée