Récupérer ma caution

Bonjour,
notre premier logement fut un gîte,mon maris et moi y avons vécu 6 mois avant de trouver un nouveau logement.
nous avons trouver un nouveau logement au mois d'octobre et avons prévenu le propriétaire le jour même ou nous avons accéder définitivement a notre nouveau logement.
jusqu'au bout nous avons paer tous les loyers le dernier loer était en dâte du mois d'octobre.
lors de l'accès a ce premier logement nous avons effectuer un dépôt de garanti de 650 euros ( preuve a l'appui).
l'état des lieu a été effectuer et nous n'avons signer aucun papier concernant cet état des lieu.
nous avons reçu un courrier disant que le propriétaire ne nous rendrais pas notre caution car le gîte est un logement sans bail.
Que dois je faire comme démarche pour récupérer ma caution ??
Aider moi svp car je me retrouve avec un cédit sur le dos.