Redressement suite crédit d'impôt sur les intérêts d'emprunt

Bonjour,

Nous étions propriétaires d'une maison acquise en indivision. Nous nous sommes séparés et le magistrat a acté dans le jugement de divorce que mon ex-épouse gardait la jouissance de la maison mais que j'assurais les remboursements du prêt immobilier durant cette période.
Quand j'ai établi ma déclaration d'impôt, j'ai donc déduit les intérêts d'emprunt afférent à l'habitation principale. Aujourd'hui, les impôts me réclament ces intérêts. Est-ce normal ? Comment puis-je me défendre ? C'est moi qui remboursait l'emprunt...
Vous remerciant par avance
Cordialement