Achat d'un pavillon avec rez de jardin

Bonjour,

Une agence immobiliere , m'a trouvé un pavillon pouvant accueillir 2 familles (ce qui était impératif pour moi et justifiait mon achat) moyennant des travaux et notamment en transformant le garage et le cellier qui se trouvaient en rez de jardin. Elle m'a donné les idées pour faire mes travaux et m'a indiqué verbalement que je n'avais pas besoin de permis de construire puisque je ne faisais pas d'extension et en s'appuyant sur le fait que de nombreux voisins l'avaient déjà fait avant moi. Certains d'entre eux ont également transformé leur cave en lieu d'habitation et sont en sous sol.. J'ai donc changé la porte du garage en baie vitrée, et me suis fais un salon, cuisine, cellier au rez de jardin.
Le notaire m'a donné une feuille de l'urbanisme m'informant que la ville où je résidais avait été classée en zone inondable par arrêté prefectoral.
Actuellement je suis en train de vendre ce pavillon, et mon acheteur s'est inquiété du fait que ceci n'avait pas été déclaré à l'urbanisme. J'ai donc appeler l'urbanisme pour le rassurer et en toute bonne foi Et là mauvaise surprise, on me demande de remettre en état ce pavillon, de refaire un garage

Je n'aurais jamais acheté ce pavillon, si j'avais su qu'il m'était interdit de l'aménager car sa configuration ancienne ne me permettait pas d'en faire une habitation pour 2 familles.

puis je avoir un recours ?

Cordialement