Taxe d'aménagement oui ou non ?

Bonjour,
J'ai obtenu un permis de construire pour l'aménagement d'une pièce supplémentaire annexée à mon pavillon.
Pour des raisons financières, j'ai décidé que je ne ferai pas les travaux. Mon pavillon reste donc en l'état, sans faire construire cette pièce supplémentaire.
Je reçois aujourd'hui des impôts la taxe d'aménagement à payer (1400 euros).
Dois-je la payer malgré le fait que les travaux ne seront pas faits ?
Cette taxe corresponds à la surface taxable de la construction, mais il n'y a pas construction !
Merci d'avance de votre avis.