Construction sur terrain agricole sans accord

Bonjour,
je viens de recevoir des services des impôts d'une commune où je possède un terrain loué à un agriculteur local, une fiche à remplir destinée aux impôts locaux, me signalant que la construction étant achevée sur ledit terrain je dois la déclarer dans un bref délais
Je n'ai jamais été contacté par l'agriculteur qui exploite ce terrain et il ne m'en a jamais fait la demande!!
Je découvre celà ajourd'hui, habitant à l'autre bout de la France je n'ai pu me rendre compte de rien
cette situation est-elle normale, une construction peut-elle se faire sans l'accord écrit du propriétaire?
Quels sont les recours?
Merci