Credit d'impôt

Bonjour,
J'ai rénové une habitation construite avant 1977 obtenue par donation en mars 2008. C'es travaux n'étaient en aucun cas soumis à permis ou déclaration préalable. J'ai obtenu un crédit d'impôt pour un poêle à bois et l'isolation , dépenses facturées en 2008 et 2009. En même temps J'ai demandé un permis de construire par changement de destination d'une grange transformé en salon et attenante à l'habitation. Le 31 mai 2010 j'ai déclaré l'achèvement des travaux. Il y a deux mois, j'ai demandé un crédit d'impôt pour un changement de fenêtres effectué en 2008, (uniquement pour l'habitation et non pour le changement de destination) . Et là sursprise, aujourd'hui l'inspecteur des impôts (se basant sur la date d'achèvement des travaux ) en charge de mon dossier me répond que non seulement je ne peux bénéficier de cet avantage mais en plus me réclame la totalité des sommes versées avec intérêt de retard car selon lui je n'aurais pas dû recevoir cet argent . Je n'y comprends plus rien!!
Merci de m'aider.