Problème avec la taxe fonciere

Bonjour,

En 2016 j'ai acheté un immeuble afin de faire des appartements destinés à la location. Sur le compromis de vente et l'acte notarié de vente il était indiqué que l'immeuble était à usage d'habitation. Un mois après mon achat j'ai reçu un courrier des impots m'informant qu'ils n'avaient pas la même destination que celle indiquée dans l'acte notarié, qu'il était à usage commercial, j'ai répondu à ce courrier en cochant la case habitation principale et les informant que l'intérieur de l'immeuble était en destruction pour être reconstruit en appartements destinés à la location. Hors aucun changement apparemment n'a été fait et cette année ma taxe fonciere à augmentée de plus de 50% suite à la création d'un appartement F3 . J'ai donc alerté les impots fonciers qui ne veulent rien entendre au sujet du changement de destination. Qui est fautif d'après vous le notaire ou les impots ? car de mon coté il y a aussi un autre impact celui d'avoir déduit de mes revenus toutes les factures de matériaux afin de defiscalisé. Je suis dans l'impasse
D'avance merci pour vos réponses
Bien cordialement,