Loyer du dernier mois

Bonjour,
J'ai été locataire d'un studio que j'ai quitté le 02 Mai 2019. N'ayant pas pu le vider pour cette date, un état des lieux de sortie a été fait, mentionnant qu'il n'avait pas encore été totalement vidé et que la remise des clés devait se faire le lendemain 03 Mai. C'est le seul état des lieux de sortie que j'ai signé.
Je n'ai pas passé la nuit du 02 au 03 dans ce studio.
Les clés ont été déposées le 03 Mai.
Le préavis de départ courrait jusqu'au 02 Mai.
Toutefois, de la caution, une retenue a été faite par l'agence pour un loyer du 02 au 07 Mai, prétextant qu'ils n'avaient pu libérer d'agent que le 07 Mai pour constater que le studio avait été vidé.
Qu'en est il de la légalité de cette manipulation ?
Merci d'avance pour vos réponses.