On m'a retiré un HLM qui m'a été attribué

Bonjour à tous,
Comme le dit le titre on m'a retiré un HLM qui m'a été attribué et que j'ai accepté, la raison est la suivante : je n'avais pas l'avis d'impostion de mon fils qui est majeur. Mais je ne crois pas que ce soit à cause de ça qu'on me retire un logement qui m'a été attribué. Moi je pense que c'est un coup et qu'on a sûrement dû donner le logement à une autre famille tout en sachant que j'ai un dossier prioritaire car mon logement est insalubre, de l'humiditée, et aussi il y a eu un récent incendie d'un immeuble voisin qui a touché mon immeuble (mais pas entièrement) et la fumée a endommagée mon appartement et j'ai même un papier des pompiers qui le prouve. J'aurais vraiment besoin de votre aide car ça fait 10 ans que j'attend pour qu'au final je reçois une réponse négative. Ma question est : Ont-ils le droit de me retirer un logement que l'on m'a attribué et que j'ai acceptée pour qu'au final on me le retire pour une raison complètement idiote et ai-je le droit d'intervenir dans leur décision ou bien à qui devrais-je m'adresser ? Merci d'avance à tous ceux qui me répondront.