Taxe d'aménagement et taxe foncière

Bonjour à tous,
Aout 2019, nous avons acheté un terrain avec un hangar agricole.
Nous avons ensuite déposé un permis de construire pour changer l'affectation de ce hangar en habitation, sans créer de surface supplémentaire (le hangar avait une surface total de 220m² et avons aménagé 140m², les 80m² restants sont considéré comme du stockage + garage).
Les travaux se sont terminés en septembre 2020, nous y avons aménagé et j'ai déclaré l'achèvement à l'administration fiscale.

Nous venons de recevoir la taxe foncière de 2020 à régler, il me semblait que nous étions exonéré pendant 2 ans, le contrôleur des impôts m'a indiqué que notre hangar était déjà considéré comme habitation depuis plusieurs années ( et non pas enregistré comme un hangar) et que nous devions donc nous acquitter de cette taxe dés maintenant. Il m'a cependant dit qu'il y avait peut-être une erreur d'enregistrement et m'a conseillé d'envoyer un courrier à la CDIF pour leur faire part de notre problème en me justifiant avec des photos qui prouvent que nous avons acheté un hangar.

En parallèle de cela, nous n'avons toujours pas reçu la taxe d'aménagement que nous estimons à environ 10 000€. Je ne sais pas si ces taxes sont liées administrativement ou si le délai est normal, mais je me pose la question suivante :

Ai-je intérêt à justifier que nous avons bien acheté un hangar (afin d'être exonéré de la taxe foncier pendant 2 ans) ? Car cela va peut-être en contrepartie déclencher la demande de paiement de la taxe d'aménagement, ce qui serait moins intéressant pour nous...

Je vous remercie pour vos conseils,