Rénovation d'un mas en Zone non constructible

Nous avons acheté il y a quelques mois, ma femme et moi, un mas abandonné au milieu d'un terrain forestier d'un hectare, en Zone Nd (aujourd'hui classé zone N). Le mas était "habitable" au niveau supérieur (70 m²), mais pas au rez-de-chaussée (70 m²), pourtant formé d'une cuisine d'été et de 4 caves indépendantes. Dans le compromis, nous avons donc mentionné en condition suspensive que nous souhaitions créer une petite extension (moins de 40m²) pour accéder à l'abri auxdites caves (réhabilitables), ce que l'agent immobilier nous a confirmé après consultation des services cadastraux de la Ville (jusqu'à 83 m² constructibles, bien plus qu'il n'en fallait).

Nous nous sommes donc lancés dans les travaux de rénovation et d'extension (pour accéder aux caves que nous avons réaménagées en salon, cuisine, chambre et salle de douche, et créer par la même occasion un petit séjour), au milieu de notre forêt, dans un souci de respect de l'environnement, en utilisant des matériaux nobles et écologiques, dans l'espoir de donner à ce lieu abandonné (mas et terrain - forêt et terrasses) une réelle plus-value, au moins d'un point de vue esthétique.

Nous nous sommes renseignés auprès d'amis travaillant dans le bâtiment, qui nous ont assuré qu'une loi permettait d'étendre sans permis jusqu'à 30% de la surface de plancher existant, sans dépasser les 180 m². En faisant le calcul (70+70=140x30%=42m²). Nous avons donc conçu une extension de 34m² pour rester dans les limites de la légalité supposée.
J'ai également consulté le service Urbanisme (avant la vente) pour connaître les éventuels projets qui pourraient nuire à notre environnement, mais celui-ci s'est bien gardé, malgré ses réponses encourageantes, de m'entretenir du PLU et de ses restrictions draconiennes ! Que nous ignorions totalement.

Notre naïveté de primo-accédants, jeune couple avec 3 enfants (de 3, 4 et 7 ans), dans l'effervescence d'un chantier lourd, loin de toute famille (normande), conjuguée à notre manque de disponibilité pour étudier en profondeur l'ensemble du projet (travaillant tous deux 5/7 jours, de 7h30 à 18h30), nous a laissés supposer qu'en matière de déclaration préalable de travaux, notre isolement ne serait nuisible à personne, et que nous pouvions donc (légalement, et par manque de temps) nous en passer.
D'autant que nous avions fait appel à un architecte, qui a estimé que nous n'avions pas besoin de ses services, après visite des lieux et sur la base de mes plans de masse (je suis graphiste, passionné d'architecture).
Au lieu de nous douter de ce que cela augurait, nous avons pris confiance dans notre projet.

Bien mal nous en a pris, car ce 11 janvier 2014, nous avons reçu un courrier du service Urbanisme de la Ville nous indiquant que nous avions construit sans permis, hors PLU, et qu'il nous fallait régulariser la situation.

De bonne foi, nous avons rencontré ledit service, qui nous a annoncé qu'il faudrait démolir ! Sauf à déposer un permis qui serait refusé, mais qu'au cours d'une longue bataille juridique nous pourrions bénéficier d'une révision du PLU et obtenir gain de cause (dans quelques années, pendant lesquelles nous ne pouvons donc pas terminer l'extension, notamment au niveau de l'isolation, et qui nous aura ruiné, puisque les travaux de rénovation ont eu raison de notre budget initial x1,5) !
En attendant, nous ne dormons plus, nous craignons pour notre santé, notre couple, envisageons toutes les solutions, notamment la revente, l'exil, l'incendie (in)volontaire (ou presque -- je plaisante, ça fait du bien)... bref, nous ne vivons plus, sauf dans un cauchemar éveillé.

Nous n'avons pas commis de crime, nous ne construisons pas un palace mais 34m² qui permettent à 5 personnes modestes de vivre dans leur maison dans un respect total de l'environnement, avec des perspectives de mise en valeur notamment auprès des touristes (projet de chambres d'hôtes atypiques dans la forêt, à moyen terme, à étudier en profondeur cette fois), nous ne nuisons absolument à personne, avons toujours été honnête...
Et je passe les détails de mauvaises surprises rencontrées en 8 mois (chasseurs peu accommodants, nuisances sonores pôle mécanique proche, infiltrations ruisselantes et donc inondantes, etc.)

Alors nous avons retroussé nos manches et missionné un architecte pour régulariser la situation, donc, seule issue (a priori) à notre impasse. Le service Urbanisme semble vouloir nous aider, mais nous ne pourrons pas subvenir financièrement à ces lourdes démarches qui n'en finissent plus de s'ajouter les unes aux autres (SPANC, étude des sols, étude thermique, etc.), et il nous semble qu'une autre solution reste envisageable : le transfert de COS (si cela s'appelle toujours ainsi).

Notre terrain est divisé en plusieurs parcelles, et celle sur laquelle est construit notre mas (du début du siècle dernier + première extension années 80) ne représente que 300 m² environ (je n'ai pas la surface exacte sous les yeux). L'occupation au sol n'est que de 70 m² (selon les vendeurs, 75 selon mes relevés, 79 selon le cadastre), donc il nous semble que le bon sens pourrait l'emporter sur toutes ces démarches vouées à l'échec et impactant sur notre avenir (notamment sanitaire).
Nous avons lu qu'il était possible de transférer une zone U sur une parcelle en zone N pour la rentre constructible (raisonnablement, comme nous l'avons fait). Ainsi le permis de construire nous serait accordé (puisque plus en contradiction avec le PLU) et nos soucis a moitié réglés. Mais au moins nous pourrions à nouveau dormir, et terminer nos travaux.
Nous reconnaissons nos torts, mais ne sommes ni criminels ni malhonnêtes, et souhaitons simplement régulariser la situation sans y perdre nos vies.

Ma question (enfin) : un tel transfert est-il envisageable (nous sommes sur la commune d'Alès, dans le Gard) ? Si oui, sous quelles conditions ? Si non, quelles alternatives ?

A préciser que nous avons signé le 29 mai dernier, et que le PLU a été adopté le 24 juin suivant... nous avons donc acheté et commencé les travaux dans les conditions de l'ancien PLU (qui nous aurait peut-être permis de construire sans permis, mais nous ne le trouvons pas, et à notre décharge nous n'avons pas fait de déclaration préalable, nous privant de preuve datée -- sauf photos numériques).

Je vous remercie par avance de tous les éclaircissements que vous pourrez apporter à notre situation qui nous semble désespérée (et d'avoir lu l'intégralité du problème).