Surpeuplement du logement par faute de revenu

J'héberge mon frère sans aucun revenu,à titre gratuit
La CAF m'a supprimé les APL car elle considère qu'il y a surpeuplement de mon logement.
Malheureusement, je ne peux pas avoir un logement plus grand (faute de revenu) afin d'avoir une chambre pour moi, une pour mes 2 enfants et une pour mon frère.
Je perd donc énormément à rendre service à mon frère qui est dans la misère financière.
Y-a-t-il quand même une solution???