Agence social logement insalubre

Bonjour, je vis dans un logement T3 (enfin T2 pour moi une mezzanine ne comptes pas pour une chambre). Et celui ci est géré par une agence social, qui est devenu insalubre, j'ai une infestation de souris et de rats dans mon appartement de la moisissure sur les plafonds, immeuble bruyant j'appelles 50 fois pour les tapages nocturnes et je dois accueillir mes 2 enfants placés dans ce taudis... l'agence ne veut rien faire sauf me demander que leurs loyers ...
Est ce qu'il y a possibilité d'arrêter de leur verser les loyers en attendant qu'ils font des travaux ?merci à vous