Redressement suite contrôle

Bonjour,
Mon mari a hérité il y a quelques temps d'une maison. Afin de pouvoir avoir cette maison, nous avons contracté un prêt immobilier.
N'y ayant pas prêté attention les années précédentes, j'ai noté cette année que nous rentrions le cadre du crédit d'impôt sur les intérêts immobilier pour les prêts contractés entre 2007 et 2011. J'ai donc inscrit cela dans notre déclaration d'impôt. L'administration fiscale a alors ordonné un contrôle de nos déclarations sur 3 ans. S'en ai suivi un courrier nous annonçant que nous ne pouvions prétendre à ce crédit d'impôt, le prêt ayant été souscrit lors d'une succession.
Pourtant sur notre contrat de prêt il est bien indiqué " offre de prêt immobilier", même le nom du prêt reprend bien la mention 'immobilier". Ce prêt a effectivement servi à acquérir notre résidence principale puisque nous y vivons depuis.
Je suis totalement désespérée car nous rencontrons en plus des difficultés financières et nous n'avons pas le montant réclamé (assorti d'une majoration de 10%). Le crédit d'impôt a servi à combler notre découvert et rembourser un crédit à la consommation en cours...
Avons-nous une chance d'obtenir gain de cause? Pouvons-nous nous faire aider?
De plus, lors de ce contrôle, il nous a été demandé les justificatifs de tous nos frais déclarés pour 2010, 2011 et 2012. En préparant le dossier, j'ai noté que j'avais fait des erreurs en ma défaveur . Cependant, aucun calcul, aucune mention de ces éléments n'apparait dans le courrier reçu. Est-ce que les impôts peuvent ne prendre en compte que ce qui est en leur faveur et pas le reste? Puis-je demander un recalcul de toutes nos déclaration sur ces 3 années?
Par avance merci mille fois pour vos réponses.