Construire sur un terrain agricole

Bonjour,
Mon frère a acheté avec sa concubine un terrain agricole il y a quelques années, l'exploitation agricole elle est au nom de sa concubine. Sur ce terrain ce trouve deux bâtiments à ossature métallique posé sur un muret d'agglo eux même posé sur une chape en béton totale. Dans ces bâtiments elle y élève des lapins. Mon frère et sa concubine (avec leurs trois enfants) vivent sur le terrain pour des raisons de praticités, soins, entretiens courants.....etc. .. Leur souci est que depuis huit ans maintenant ils vivent dans des mobiles homes car la mairie de leur village ne veut pas leur autoriser la construction d'une habitation sur ce terrain même si elle est sur pilotis !! Quel recours peuvent-ils avoir pour enfin vivre décemment sur ce terrain? A savoir qu'il y a déjà l'eau et lélectricité
En vous remerciant par avance pour vos retours et vos aides diverses