Dépôt de garantie encaissé

Bonjour,
nous avons loué un appartement cet été et avons informé le propriétaire lors de l'état des lieux d'arrivée que nous partirions 1 jour avant la date prévue dans le contrat de location (nous sommes restés 13 jours au lieu de 14). Nous n'avons pas pu faire d'état des lieux de sortie car le propriétaire était indisponible le jour de notre départ. Plusieurs jours après notre départ il nous informe qu'il encaisse notre dépôt de garantie et nous accuse d'avoir taché son clic-clac. Il nous reproche également de ne pas l'avoir prévenu assez tôt (dès la réservation de l'appartement plusieurs semaines auparavant) de notre souhait de quitter les lieux 1 jour avant la date indiquée dans le contrat et justifie de ce fait son indisponibilité pour l'état des lieux de sortie. Selon lui il n'est donc pas responsable de l'absence d'état des lieux de sortie qu'on aurait du faire à la date de fin de location indiquée sur le contrat et nous affirme de ce fait que l'on ne peut pas contester l'encaissement du dépôt de garantie. Est-il dans son droit ?
Merci par avance