Crédit d'impôt pour intérêt d'emprunt

Bonsoir,
J'ai un problème avec le service des impots.
J'ai acheté en 2006 une maison avec un prêt immobilier classique. J'ai revendu cette maison 2 ans après pour en acheter une autre donc en 2008.
Ayant bénéficié d'un taux intéressant en 2006 ma banque à conservé le même prêt pour la nouvelle acquisition.
En 2013 pour ma déclaration de revenus quelqu 'un m'à dit que je pouvais être éligible au crédit d'impôt pour les intérêts d'emprunts. J'ai contacté le service des impots qui me l'a confirmé. Lorsque j'ai fait ma déclaration j'ai donc déclaré les intérêts d'emprunt de la 1ère année et j'ai bien eu la réduction de 40 %.
Cette année en février j'ai sollicité le service des impôts pour savoir comment je devais procéder pour les années suivantes (4 à 20%).
Bien m'en à pris , en fait j'ai dû soulever un lièvre !
Après avoir transmis tous les justificatifs j'ai été appelé au téléphone par un contrôleur des impôts qui m'a dit ne pas comprendre et que je n'aurais pas dû avoir un dégrèvement et qu''elle allait vérifier.
Effectivement, je viens de recevoir un recommandé appelé "proposition de rectification"
Évidemment elle me confirme que j'ai perçu à tort le crédit d'impôt, que je dois le rembourser et en plus je me prends des pénalités !!!
C'est dur d'être honnête.
Si je n'y avais pas droit, déjà il n'avait qu''à le dire lorsque je me suis renseignée, ensuite il n'avait pas à me l'accorder.
Cela dit, moi j'ai bien trouvé sur le site legifrance.gouv.fr (bofip.impôts.gouv.fr/bofip/3726-PGP.html ) un article IR J qui est exactement mon cas et qui confirme que je suis bien éligible à ce crédit d'impôts.

Merci de vos réponses.

Bien cordialement.