Credit impot et habitation principale

Bonjour,

j'ai acheté un appartement fin 2014 pour lequel j'ai du engager de gros travaux pas de salle de bain, pas de chauffage, fenêtres hs, une partie du toit a refaire, plomberie et électrique à refaire complétement...) . Ayant des revenus modestes j'ai bénéficié des aides de l'anah (une année d'attente avant le droit de commencer les travaux) et des crédits d’impôts pour la rénovation énergétique. De 2015 à 2017, je ne pouvais pas habiter dans cet appartement du fait les travaux en cours et de sa vétusté. J'ai été hébergé à titre gratuit par mon petit ami, période pendant laquelle je passais mon temps entre le travail, l'école et les travaux de mon appartement. A ce jour, l'administration fiscale me demande de leur reverser les crédits d'impots que j'ai touché considérant que mon appartement n'était pas ma résidence principale, en effet je ne pouvais y dormir. Que puis je faire pour leur faire comprendre que j'ai réalisé la majorité des travaux toute seule (hors travaux isolation, fenêtre et chaudière ayant été assurés par une entreprise RGE), tout en travaillant, suivant une formation et devant faire aussi mes travaux ce qui m'a pris 1 an et demi? A qui m'adresser pour être entendue?
Je vous remercie par avance pour votre réponse.