Achat de maison zone verte sans le savoir

Bonjour, nous avons acheter une maison avec mon mari en novembre 2019 l'ancien propriétaire (adjoint au maire dune autre commune) et le notaire nous a fournis les plans de cadastre et le plu de mes différentes parcelles qui nous mentionne que la maison était sur une parcelle Ne (naturelle mais constructible) la maison comporte 80 m2 habitable mais a rénover bien évident parce qu'àncien Corp de ferme. Et attenant une écurie qu'on pouvait rendre habitable parce que le plu autorisé un aggrandissent qui ne dépasse pas 180 m2 de SHON en comptant l'existantet lecurie en fait 80m2.
Nous avons signé les papiers de ventes lors de nos rendez vous chez le notaire qui nous a bien relu paragraphe par paragraphe et que j'ai bien demandé à plusieurs reprise en regardant les plans que l'écurie pouvait être passé habitable et que tout deux m'ont répondu oui oui les plans et le plu le disent... Nous avons signés. Nous habitons actuellement la maison relier à l'eau au tout à l'égout... On a fait appel à un architect vu qu'on dépasser les 150m2 l'architecte en appelant l'urbanisme lui a rétorque qu'aucunes demandes de permis de construire n'était recevable et serais accepté car la maison est en ne cette mais sur un terrain en zone verte.
La notaire et l'ancien propriétaire nous l'ont jamais informés pourtant le service de l'urbanisme m'a dit que le notaire a chaque vente devait demandé le plan d'urbanisme apparament qu'il n'aurait pas demandé et à aucun moment dans le compromis de vente ni lors de la dignature de l'acte définitive pourtant 2h de rendez vous à relire etc elle nous a mentionné que l'ont pouvait rien faire. Pourtant avec les infos qu'elles a recueillis et nous ce qu'on lui disait qu'on voulais faire elle nous a jamais dit stop vous ne pouvez pas faire de rénovation ni aggrandire.
Que dois je faire nous avons 3 enfants cela faisait 10 ans qu'on essaye d'acheter une maison nous avons fait un crédit de 15000 e et avons acheter cette maison au prix de 110000e ???? Aidez moi s'il vous plaît on demander juste à passer la partie de lecurie habitable.
Cela veut dire qu'on a acheter une maison qu'on doit laisser s'effondrer et qui n'est pas destiner à être une résidence principale ????