Caution non restituée

Bonjour,

Suite à des difficultés financières, j'ai voulu quitter mon logement rapidement. J'ai donc contacté mon propriétaire pour un préavis d'1 mois, ce qu'il a accepté sans problème.
Mais le jour de l'état des lieux de sortie, lorsque je lui ai parlé de ma caution, il m'a dit que je l'avais pris de court et que du coup il gardait la caution.
Quels sont mes recours?

Merci