Construire en zone agricole......

Bonjour,
Possédant un terrain de 4000m2 classé en zone agricole, ce qui n'est nullement justifié puisque sur ce terrain se trouve notre potager des arbres et qu'il n'a jamais été utilisé en agricole depuis 50 ans. Notre fils voudrait faire construire une petite habitation, après plusieurs entretiens avec la mairie (le plu étant en révision) celle ci nous demanderai pour obtenir le droit de construire d'échanger ce terrain avec un terrain constructible ce que nous n'avons pas !!!y a t il une solution urgentmerci