La mairie me refuse le droit de m'installer sur un terrain agricole

Bonjour, j'ai un camion de pizza depuis 13 ans sur un emplacement fixe à l'année ( parcelle constructible)
Le propriétaire du terrain est décédé l'année dernière, les enfants ont décidé de vendre 10000m2 de leur terrain où je me trouve .
Le promoteur ne voulant pas que je reste sur mon emplacement (car il veut y construire 15 maisons) les enfants m'ont donc proposer de me vendre une parcelle agricole situé en zone naturelle situé à 50 mètres de mon emplacement.
J'ai donc fait une demande à la mairie, au service urbanisme leur expliquant mon cas, que j'avais l'opportunité d'acheter cette parcelle.
est ce que j'avais le droit de m'installer pour continuer d'exercer mon activité de camion à pizza que j'exerce depuis 13 ans dans ce village .
La Mairie a refusé ma demande voici leur réponse

"Monsieur,
J’ai pris connaissance de votre courriel daté du 31 janvier 2020, par lequel vous me faites part de votre
problématique de relocalisation de votre activité. Vous m’y soumettez votre projet de déplacer votre camion
sur la parcelle AC 32, située à 50 mètres environ de votre emplacement actuel, et souhaitez pour ce faire
l’accord de la Commune.
La parcelle sur laquelle vous envisagez de déplacer votre activité est située en zone Naturelle du Plan Local
d’Urbanisme Intercommunal. Dans ce type de zone, les possibilités d’occupations du sol sont très limitées :
toutes les installations à destination commerciale, même démontables comme la vôtre, ne sont pas
autorisées. Par conséquent, je ne suis pas en mesure de réserver une suite favorable à votre requête"

S'il vous plaît est ce que la mairie est vraiment dans son droit de me refuser ?
Surtout si j'achète la parcelle et que celle ci est à mon nom ?
Si je m'installe et travail quand même sur cette parcelle quesque je risque?
Avez vous une solution, un article de loi ou une idée pour que je sorte de cette impasse

Merci d'avance
Cédric