Etat des lieux sans locataire

Bonjour,

J'ai rendu mon appartement fin août, appartement que j'avais libéré fin juin. L'agence devait convenir d'un état des lieux fin août, ce qui ne devait pas poser de soucis car j'étais disponible à cette période.
Mais dans les derniers jours de août, pas de nouvelles, j'appelle donc l'agence, pour leur dire que je dois faire l'état des lieux dans la semaine car je pars en vacances début septembre. Comme le nouveau locataire arrive pendant mes vacances et que nous ne trouvons pas de créneau commun avec l'agence pendant ma dernière semaine sur Paris, ils me proposent de faire l'état des lieux sans moi. Comme il n'y a apparemment pas d'autres solutions, j'accepte. Mais maintenant, l'agence veux me retenir 150 euros sur ma caution pour frais de ménage, alors que j'ai laissé l'appartement nickel.
Puis-je contester celà, alors que je n'étais pas à l'état des lieux ?

Merci pour votre aide.