Agrandir une maison en zone Neh

Bonjour,
je suis proprietaire d'une maison ancienne située à l'écart d'un village. Il y a 6 ans, j'ai déposé une demande de travaux afin de faire un agrandissement de moins de 20 m2, cette demande avait était attribué sans problème.
Aujourd'hui, j'ai fait appel à un architecte afin de réaménager l'interieur de la maison et effectuer un agrandissement, une piscine entérré et un garage en bois sur dalle béton. Avant même la dépose des demandes, le maire lui a immédiatement répondu que ma maison se trouve sur une zone Neh et que de ce fait rien n'est possible! Le PLU à 10 ans, c'est à dire qu'a la date ou j'avais fait mes travaux, il était déja en vigeur et à cette époque RAS! de plus à partir du moment ou il y a déja une maison sur un terrain, lors de la révision du PLu et du passage en zone Neh, ma maison n'aurait-elle pas du béneficier d'un classement different? Je comprends et accepte les contraintes imposés par le site ou elle se trouve, mais est-ce normal de ne plus rien pouvoir faire du tout? quelle recours puis-je utiliser?
Merci à tous ceux qui pourrons me conseiller.