Crédit d'impots

Bonjour,
Merci pour votre site !
Ma question : suite à partage familiale (j'ai 4 frères) j'ai hérité de la maison de mes parents.
En fait, nous l'avons fait estimer au prix du marché, et j'ai payé mes frères (06/2007) de leurs parts.
J'ai donc fait un prêt au crédit agricole qui m'a dit que j'avais droit au crédit d'impôts, puisque je n'avais pas cette maison à titre gratuit.
Avec ma femme, nous sommes allés au centre des impôts pour savoir comment faire pour le remboursement des intérêts. Nous leurs avons montré tout notre dossier (estimation, actes notariés, prêt...) et ils nous ont dit comment faire.
Trois ans plus tard, hier (15/09/2010), il nous demande 3000 euros car soit disant nous n'avions pas le droit au crédit d'impôts !
Qu'en pensez vous, pourquoi reviennent t'ils sur leur accord ? Est ce une erreur ?
Avions nous droit à ce crédit d'impôts ?
Merci pour votre réponse.
Cordialement,
Philippe