Retenue sur caution sur date départ annoncée

Bonjour,
J'ai largement respecté le délai de préavis en ayant annoncé le 20 octobre le départ de mon logement pour le 3 décembre. Je l'ai en réalité quitté le 29 novembre immédiatement après l'état des lieux et la remise des clés. Je constate une retenue par l'agence immobilière correspondant à 3 jours de loyer en décembre lors de la restitution de ma caution. ILs s'appuient sur la date annoncée lors de la remise de mon préavis, indépendamment du fait que je n'ocupais plus le logement. Puis-je contester cette retenue et sur quoi m'appuyer pour l,e faire ?
Merci