Date de sortie = date état des lieux ?

Bonjour,

J'ai donné mon préavis de départ pour le 25 septembre (3 mois avant) de l'appartement que j'occupais.
Au cours du mois de juillet, j'ai prévenu (par téléphone) l'agence qui s'occupait de la location que je pouvais partir avant s'ils trouvaient un locataire pour le début du mois de septembre.
J'ai donc, le 28 juillet, laissé à disposition de l'agence un jeu de clés afin qu'ils puissent faire visiter l'appartement.
L'agence a trouvé un locataire et ma demandé (encore par téléphone) de partir le 2 septembre.
Nous avons donc réalisé l'état des lieux de sortie le jour même.

Quelques semaines plus tard, je reçois mon chèque de caution amputé du prix de la location jusqu'au 25 septembre sous prétexte que le locataire qui devait prendre l'appartement s'était désisté au dernier moment.

L'agence me dit qu'ils ne peuvent rien faire et que c'est la date donnée sur préavis qui est retenue. En revanche, ils ne démentent pas le fait de m'avoir demandé de quitter l'appartement le 2 septembre.
La date qui est sur l'état des lieux est bien le 2 septembre, est ce que je peux me baser sur cette date pour le demander le remboursement des 23 jours facturés ?

Merci pour votre aide.