Retenue sur dépot de garantie pour peinture qui s'écaille

Bonjour à tous, voici ma situation:
Je suis resté en location pendant 5 ans et demi dans un appartement geré par une agence immobilière (ORPI).
Lors de l'état des lieux d'entrée l'un des murs donnant sur la cage d'escalier de l'immeuble commençait déjà à s'écailler dans la salle de bain, alors que les peintures semblaient avoir été refaites pour la remise en location.
Le temps a passé, et comme le phénomène ne nous gênait pas et qu'il n'y avait pas de problèmes d'humidité, mais uniquement d'esthétique nous avons fait avec.
Environ 6 mois avant de quitter l'appartement j'ai quand même envoyé des photos du mur par mail à l'agence, ainsi que d'autres endroits ou la peinture s'écaillait, pour moi de manière anormale. Je pensais que c'était juste à cause de la mauvaise qualité de la peinture ou de la sous couche, ou du non respect du temps de sèchage, quelque chose comme ça. Notons aussi que la salle de bain n'est pas munie d'une VMC. L'agence a fait venir un artisan, qui a fait un devis (pour plus que de la peinture il me semble: renforcer l'isolation du mur). Mais ensuite, ça a du trainer admninistrativement entre l'agence et l'artisan, car 3 mois avant de quitter le logement il m'appelle en me disant qu'il avait un devis signé pour débuter des travaux chez nous. Je lui explique qu'on vient de poser notre préavis, et qu'on pouvait malgré tout libéré l'appartement le dernier mois car on comptait enlevé nos affaires plus tôt. On en parle à l'agence aussi, qui ne fait rien de spécial pour les travaux et nous donne juste une date d'EDL 3 mois plus tard. 
Lors de l'EDL les peintures sont notées le plus souvent comme "dégradées" à cause de l'écaillement, voire même "très dégradées" aux pires endroits. En effet noter "usure normale" me paraissait absurde vu l'écaillement,  mais je me suis peut être fait un peu baratiner par l'employée de l'agence, et je n'aurais peut être pas du signer pour ce terme, qui pourrait impliquer une reconnaissance de ma responsabilité sur la dégradation.
Et bien sur vous le voyez venir, 30 jours après l'EDL, nous recevons une lettre (sans AR) avec un devis peinture à 450 euros nous retenant intégralement notre dépot de garantie et nous demandant de payer le reste.
Alors qu'en pensez vous? Est ce que le fait d'avoir signalé le problème d'écaillement par mail 6 mois plus tôt me permet de contester? Et si oui comment contester? Ou l'EDL signé par mes soins protège l'agence là dessus?
Merci d'avance pour le temps passé à lire et éventuellement à répondre.