Dispense préavis de départ réduit

Bonjour,
je viens de quitter une résidence dont le préavis de départ est réduit à 1mois. Quelques jours après avoir donné mon préavis, le responsable de la résidence me contacte (par téléphone) en m'expliquant qu'ils ont une forte demande et que çà les arrangerait si je pouvais remettre les clés avant et comme ça je n'aurai pas à payer l'intégralité de mon mois de préavis.On fixe donc une date anticipée de départ et je rends les clés.Lors de l'état des lieux il est convenu que que les jours du mois de préavis où j'étais dans la résidence seraient déduite de ma caution de garantie et le reste me serait restitué. 1 mois après,dans l'attente de ma caution , je ne reçois rien, mais plutôt un courrier m'invitant à payer l'intégralité du mois de préavis. Je contacte le responsable, qui persiste que je dois payer l'intégralité du préavis , alors que c'est eux qui m'ont accordé une dispense en me demandant de partir avant. Est-ce légal qu'ils reviennent sur leur parole? que puis-je faire pour récupérer le reste de ma caution?