Taxe habitation et union libre

Bonsoir,
Je vis en union libre depuis 4 ans. J'ai appelé les impôts de ma région à l'époque et ils m'ont dit que n'étant ni mariés ni pacsés nous devions faire une déclaration de revenus comme avant étant seuls chacun de notre côté, mais que mon compagnon devait déclarer sa nouvelle adresse sur sa déclaration de revenus, ce qu'il a fait.
Donc nous faisons nos déclarations de revenus comme avant, moi en tant que veuve, seule et lui en tant que divorcé, seul avec un enfant à charge.
Je paie toute seule la taxe d'habitation de mon appartement. Mais comment les impôts savent- ils qu'il habite chez moi ? j'habite dans un immeuble avec plein de résidents.
Personne ne lui a demandé chez qui il habitait et personne ne s'est inquiété de savoir qu'il ne payait pas de taxe d'habitation depuis 4 ans.
Je crois qu'il y a quelque chose qu'on ne fait pas bien et je crains de rappeler les impôts de peur d'être accusée de fraude.
Je ne m'étais jamais posé la question jusqu'à présent, c'est en entendant discuter mes collègues de travail sur ce sujet que cela commence à m'inquiéter sérieusement.
Pouvez-vous me renseigner et me rassurer ? J'ai très peur.
Merci beaucoup pour vos réponses