Pallier l'absence de transfert de permis de construire?

Bonjour, nous avons vendu une maison il y a plus de 2 ans et aujourd'hui nous recevons une taxe à payer, la taxe d'aménagement, soit 1644 euros pour une pièce de 37 m2 qui était à l'origine un appentis attenant à la maison et avec nos travaux est devenue un salon (changement de destination). Nous avons déclaré ce "changement de destination" juste avant la vente afin que les nouveaux propriétaires soient "tranquilles" pour leur achat et que tout soit bien clair chez le notaire!!!! Ne sachant pas qu'il fallait le faire, personne nous en averti, même pas chez le notaire?, nous n'avons pas fait de transfert de permis de construire (qui d'ailleurs n'en était pas un réellement, puisque aucune nouvelle construction....) et donc, aujourd'hui les impôts nous réclament cette somme, alors que nous n'avons jamais profité de cette pièce, puisque nous avons vendu la maison et qu'il y a depuis plus de deux ans de nouveaux occupants!!!! Peut-on éviter de payer cet impôt et par quel biais? Merci.