Problème de taxe d'aménagement

J'ai réalisé des travaux dans une vieille case créole en aménageant un sous-sol et fais une déclaration auprès de la mairie afin de régulariser la surface habitable totale de la maison dans une perspective de vente.
Les services de l'urbanisme nous on demandé de faire appel à un architecte pour réaliser des plans. L'architecte a qui nous avons fait appel, nous a été conseillé par la mairie.
Ce-dernier, après avoir réalisé les plans, a déposé une demande de permis de construire avec comme intitulé "demande de régularisation pour une maison individuelle de 120 m2", alors même que nous souhaitions seulement régularisé un sous-sol de 45 m2.
Quelques mois plus tard, les impôts réclament une taxe d'aménagement d'un montant de 3800€.
Après demande de rectification, les services de la mairie m'expliquent qu'il ne peut y avoir une demande d'annulation de permis que s'il est démontré qu'il existait déjà un permis de construire avec des plans en bon éduforme.
Or il s'agit d'une vieille case créole, construite il y a plus de 70 ans, probablement sans autorisation, et que nous avons d'ailleurs acheté sans plan. La seule preuve que nous avons, s'agissant d'une extension et non d'une nouvelle création, est l'acte de vente qui stipule l'achat d'une maison individuelle de 75 m2, avec un garage en sous-sol.
Au total, en voulant régulariser des travaux d'agrandissement de notre maison (passer d'une surface habitable de 75 m2 à 120 m2), nous voilà pris au piège avec l'obligation de payer une taxe de régularisation concernant la création d'une maison individuelle de 120 m2.
Ma question est la suivante: suis-je contraint de payer cette taxe ou y a t-il moyen de me défendre? N'existe t-il pas de délais de prescription concernant les permis de construire?