Dernier loyer et restitution de caution

Bonjour,

A la demande de mon propriétaire, j'ai quitté mon dernier appartement 1 mois avant la fin légale de mon préavis.
Le nouveau locataire souhaitait prendre possession des lieux le 15 août et j'y ai vu l'occasion d'économiser 1 mois de loyer en me faisant héberge par des amis. Je suis donc parti le 31 juillet, après l'état des lieux et la remise des clefs.

Seulement voilà, le nouveau locataire s'est désister et n'est entré dans les lieux qu'au 1er septembre.
Aujourd'hui le propriétaire me réclame le paiement du loyer d'août et retient ma caution en otage.
Il ne m'a pas fourni d'exemplaire de l'état des lieux de sortie mais une attestation précisant la date et l'état de l'appartement à mon départ (pour la résiliation de mon assurance)

Est-il dans son droit puisque c'est lui qui m'a demandé si je pouvais libérer l'appartement ? (je n'ai évidement aucun écrit de cette demande puisqu'elle s'est faite par téléphone)