Maison modulable

Bonjour,
J'ai un terrain de plus d'un HA dans une zone agricole,non constructible pour l'instant,la commune n'a pas encore le POST ou PLU,à coté du mien ,il y a une bande de terrain agricole aussi sur lequel quelqu'un a fait poser 2 maisons qu'on appel modulables qui sont amenées par camion,il y a l'eau par un puit,l'électricité je ne sais comment,un cumulus enfin le confort,
or la DDE m'a refusé le CU et donc le permis de construire,pour nuisance à autrui et plus,pourtant lui produit des eaux sales qui vont je ne sais ou,je ne comprends plus rien,le Maire avait donné son autorisation pour une chose,ensuite il y a eu un garage en dur et un en bois,puis ces fameuses maisons,
Ce propriétaire est t'il dans son droit,faut t'il un permis de construire pour ces maisons?
Merci de votre réponse