Terrain agricole en zone constructible

Bonjour,
nous avons acheté un terrain de 3 hectares pour en faire une zone sportive(ecole de pilotage motocross) terrain en zone agricole ancienne carrière appartenant à 1 entreprise de TP.avant d'acheter nous avons demandé au maire son accord et l'avons eu.puis une pétition est passée, le maire a donc refusé l'implantation de ce site du fait d'une proximité avec des habitations(qui sont au demeurant devant le terrain de foot et de tennis)nous souhaitons donc passer ce terrain en zone constructible pour y habiter et ne pas tout perdre (le terrain est retourné à l'etat de friche) le plu est en cours mais on nous dit que nous sommes trop loin des maisons existantes (- de 200m) et ensuite on nous dit que nous ne sommes pas agriculteurs et de ce fait que nous ne pourrons pas passer le terrain en zone constructible! ou sont les vérités? quelles sont les actions à entreprendre et quels sont nos droits? merci de nous répondre