Garder HLM alors que je déménage

Bonjour tout le monde, 

J'ai besoins de conseils / tuyaux concernant mon logement social. 

Je vous explique: mon conjoint à déménagé dans le sud (j'habite en IDF) pour son boulot et je souhaite le rejoindre.

MAIS j'ai un logement social que j'adore et que je ne veux pas lâcher (au cas ou finalement on se sépare ou que je ne me plait pas dans le sud et que je souhaite rentrer). 

Je dois envoyer mon avis d'imposition tous les ans à mon bailleur. 

Avez-vous des tips pour que je puisse le garder sans que l'état soit au courant? Si j'ai un boulot dans le sud et que je déclare une adresse à mon employeur, les impôts pourront savoir que je ne réside plus en IDF? Je souhaite garder ma résidence fiscale en IDF. 

Merci de votre aide :)