Fin de préavis anticipé pour nouveau locataire

Bonjour,
Nous avons décidé de quitter notre logement au mois de mai pour cause d'invasion de punaises de lit dans notre logement . Nous uen avons donc informé notre agence de location par lettre recommandée avec accusée de réception. Réponse nous a été donnée que notre préavis de départ démarrait à compter du 21 mai et courrait jusqu'au 21 août donc 3 mois légaux. Durant ce temps nous avions bien évidemment quitté ce logement pour être hébergés par des proches le temps de trouver un nouveau logement
L'agence nous a proposé de relouer le logement au plus vite après traitement afin de raccourcir notre préavis. Un locataire a été trouvé pour le 21 juillet. Notre état des lieux sortant aura lieu le 15 juillet. Ma question est la suivante sommes nous tenus de payer notre loyer jusqu'à la date de la remise de nos clés ou jusqu'à la date d'entrée du nouveau locataire ?
Merci pour vos réponses