Problème restitution caution logement social

Bonjour à toutes et tous,
Je vous explique mon problème,
Je suis locataire depuis deux ans d'un appartement appartenant aux hlm (oph65), 3 semaines avant la date prévu de remise des clés on me contacte pour me dire que je ne pourrai avoir les clés que 10 jours après la date prévu car il y a des travaux à effectuer, évidemment je conteste car je ne peux pas me retrouver à la rue 10 jours avec mes meubles! On me propose ou plutôt on m'impose de faire alors moi même les travaux (on m'indique qu'il n'y a que de la peinture salle de bain et cuisine), j'accepte car je n'ai pas le choix. Le jour J, l'oph65 me fait signer le bail (dans leur bureau) et les papiers indiquant que je vais faire les travaux et me donne les clés, je vais faire l'état des lieux le jour même (avec une autre personne), et là surprise il faut refaire toutes les tapisseries (chambre 1, cellier, cuisine , salon, salle à manger et salle de bain) et pas du tout de peinture! On me donne un bon d'achat pour un magasin spécialisé, je vais y acheter ce qu'il faut (quelques semaines plus tard). Je ne sais pas poser la tapisserie et mon conjoint encore moins alors on laisse l'appartement comme ça durant deux ans et on se dit que l'on verra le jour où on en partira. En juin j'ai commencé à détapisser la salle de bain mais j'ai du vite m'arreter pour cause de grossesse j'avais des vertiges.
Me voilà aujourd'hui à devoir quitter ce logement, je n'ai pas pu effectuer les travaux et suite à la prévisite de fin de bail, la personne en charge me dit qu'ils vont m'enlever de la caution le montant représentant la main d'oeuvre soit environ 400€!
Ont-ils le droit de faire ça? Car sur le bail est bien notifier que la caution n'est pas rendu si il y a eu des dégradations (tarif selon un barème), ce qui n'est pas le cas.
Sur l'état des lieux d'entrée est bien notés le mauvais état des tapisseries.
J'ai pris rendez-vous avec le directeur territorial pour le 13 novembre mais c'est bien loin, j'aimerai avoir vos avis avant.
Cette pratique est-elle légale?

Merci beaucoup de m'avoir lu et par avance merci pour vos réponses.
A bientôt.