Degrèvement de robien annulé par centre impot

Bonjour,

j'ai mis en location depuis quelques années deux maisonnettes mitoyennes dont j'ai fixé le loyer en mesurant la surface habitable exacte et en la multipliant par le coefficient De Robien correspondant afin de bénéficier du système de défiscalisation du même nom.
Lors de l'opération d'achat, le constructeur m'a vendu le terrain puis transféré le permis de construire qu'il avait déposé depuis déjà quelque temps après quoi il a effectué les travaux de construction.
Je suis contacté aujourd'hui par le centre des impôts qui affirme que je loue trop cher ces maisonnettes et qu'il m'enlève par conséquent les defiscalisations des annés passées et me présente une addition très très salée.
Après vérification, le permis de construire déposé à l'époque par le constructeur ne correspond pas à la surface effective qui est mise en location (il manque 10m2 loi Carrez par maison) et la surface hors oeuvre nette (SHON) réelle est supérieure à celle qui était autorisée dans le permis de construire.

Je me rends donc compte aujourd'hui que j'ai été trompé par mon constructeur, que j'ai loué mes maisonnettes à des tarifs volontairement bas mais qui, étant donné la tromperie, ne sont pas validés par le centre des impôts...

Si vous êtes en mesure de m'aider sur ce point, toutes les réponses peuvent être utiles (jurisprudence, conseils, recours possibles...) Merci d'avance.