Agrandir son jardin dans terrain agricole

Bonjour,
Nous sommes propriétaire d'une maison avec un petit jardin et nous voulions agrandir notre jardin dans le pré attenant qui nous appartient aussi. Lors d'une demande de permis de construire d'un garage sur notre terrain d'habitation, l'institution des autorisations d'urbanisme nous a dit que nous n'avions pas le droit d'agrandir notre jardin ! Nous avons précisé que sur l'agrandissement de terrain il n'y aurait pas de construction mais seulement une pelouse, un arbre et mon potager.
Est ce qu'il y a un texte qui dit que nous avons le droit, sachant que par chez nous plusieurs personnes l'ont deja fait ?
Cordialement,