Travaux non déclarés par les anciens propriétaires

Bonjour,

Nous avons acheté en 2013 un ancien moulin pour un superficie sur acte notarié de 100m2 environs.
Depuis nous avons réhabilité une seconde partie du moulin, 58m2 en 2015.
Nous avons donc déclaré cette surface aux impots.
Après 3 longues années, les impots se réveillent et m'annoncent que ma taxe foncière passe de 400 à 825€ .
Je demande alors des explications aux impôts qui me répondent que ma maison suite à ma déclaration est passée de catégorie 6 vétuste à 5 maison rénovée dépassant 150m2. Pour la superficie total je suis donc d'accord, cependant lorsque nous avons acheté la maison en 2013 elle était loin d'être vétuste puisque les 84m2 que m'ont ressorti les impôts (et non 100m2 sur l'acte notarié) ont été rénovés par le 1er repreneur du moulin.
Je suppose donc que le premier n'a fait aucunes déclaration de mise en conformité ...?
Et je suppose également que le second propriétaire donc avant nous, n'a pas déclaré la pièce qu'il avait rénové qui justifie la différence entre les 84m2 qu'on les impôts et les 100m2 sur acte notarié.
Nous payons donc pour la mal-honnêteté de nos 2 prédécesseurs.
Avons nous la possibilité de nous retourner contre quelqu'un ? Le notaire avait il ses information en main ?
Nous sommes écœurés de devoir payer à cause des deux autres, et de découvrir ça 5 ans après notre achat.
Nous sommes dans une petite commune et je trouve ce montant in-justifié. De plus ma taxe d'habitation va augmenter également. Et ce définitivement.

Avons nous la possibilité de nous retourner contre quelqu'un ? Le notaire avait il ses informations en main ?

Merci d'avance pour vos réponses.