Caution non rendue intégralement

Bonjour,
Je louais un appartement que j'ai rendu en janvier.
J'ai récupéré (à ma demande sinon je n'aurais rien reçu) ma caution en partie (moins du quart) en juin.
L'agence me facture 6 jours début février car j'ai remis les clés le 6 février.
En effet, l'agence a tardé à organiser l'état des lieux en me disant que de toute façon personne n'était intéressé pour l'instant.
Que puis-je faire ?
Je ne veux pas leur laisser cet argent car jamais on ne m'a averti que ce serait facturé si on attendait quelques jours.
Merci d'avance.