Refus de permis car terrain en zone ND

Bonjour,
Je viens de recevoir un refus de mon recours gracieux au motif que mon terrain est en zone Nd depuis 1999. Or lorsque je regarde le POS de la commune, depuis 1999, 2 constructions avec permis ont été autorisées au dessus de mon terrain en 2001 et 2002 alors que ceux ci étaient dans la même situation que le mien. Mon terrain est situé en plein centre ville, il est entouré d'habitation et d'une école. Le terrain fait 659m2 et il y a 3 arbres dessus? Peut on envisager une demande de déclassement? Quel recours j'ai?
Merci par avance
Cordialement