Situation complexe

Bonjour,
J'habite actuellement a titre gratuit dans la maison de mon défun oncle avec mon compagnon et nos 2 enfants, mais cette maison a été bâti sans permis ( comme la plupart des habitations des Dom) sur le terrain de ma grand-mère, je me demande donc qui devra payer la taxe fonciere, mon oncle est mort depuis plusieurs années sans jamais avoir payer de taxe pour cette maison, ma grand-mere est proprietaire du terrain et a déjà une maison pour laquelle elle est exonerée (je pense que celle ci sera considerée comme résidence secondaire sans posibilité d'exoneration??)....merci pour vos réponses