Taxe habitation usufruitier/nu proprietaire

Bonjour,
En février 2020, j'ai racheté en nu propriété la maison de mon grand pere qui vit maintenant en EHPAD.
J'y suis logé à titre gratuit car je reviens de 10 ans d'expatriation et je repars nomalement cet été.
J'ai effectué pour 90 000 euros de travaux de rénovation, toiture, éléctricité, mise aux normes bien que normalement l'usufruitier doivent payer certains travaux, j'ai tout payé puisque je ne lui paie pas de loyer.
Les impots ayant eu connaissance de la vente ont envoyé un papier à mon grand pere pour clarifier la situation de ce logement, légalement est ce bien toujours à lui de payer la taxe d'habitation?
A quel texte de loui puis je faire référence?
Merci pour votre aide