Séparation en HLM ?

Bonjour,
Je suis actuellement en "couple" on a l'appartement depuis 1 ans je suis la première sur le dossier HLM javai fait tout les papier et tout régler , tout les mois je paye le loyers et les charge ... Depuis quelque mois sa ne va plus javai donc enlever mon conjoint de la CAF mais il reste dans l'appartement en me disant qu'il es chez lui donc je sais pas comment faire... Et je veux pas quitter l'appartement car j'ai galérer 2 ans avant de lavoir et j'ai mon fils de temp en temp donc je peu pas me permettre... Comment je dois faire pour faire les chose dans les règle ? Et qu'il quitte le logement sans m'embêter ? Merci d'avance de votre réponse