Obligation du bailleur logement HLM

Bonsoir, j'occupe un logement hlm depuis 1 moi maintenant. L'ancienne locataire était présente depuis 20ans dans ce dernier.
Lors de l'état des lieux je constate que les murs sont tous taches et sale. De plus au lieu de reboucher les trous correctement elle a juste mis une bonne couche de plâtre par dessus les clous. Autant vous dire que tous est à refaire. J'ai donc demander à l'agence qui s'occupe de ce logement si il était possible qu'il effectue des travaux ou qu'il me dédommagé des frais que je vais mettre dans les réparations. Il me dit que tout est à ma charge. À t'il le droit ? Sachant qu'il a récupéré une partie de la caution de l'ancienne locataire..?
Jespere être assez claire, merci d'avance de vos réponses