Recupere ma caution

Bonjour,
j' ai quitté mon logement au premier novembre car mon propriétaire récupère son logement pour sa fille . Il m 'avait dis que je pouvais partir au plus tard au mois d avril . j ai trouvé un logement et l' état des lieux de mon ancien logement n a toujours pas été fait car je n avais pas de nouvelles de mon bailleur , je l ai enfin eu et il m ' a fixé un rendez vous en me disant que jusqu'à l'état des lieux il me considérait toujours comme locataire et était redevable des jours de loyers comme occupant . Est ce légal alors que verbalement il était d ' accord ? vers qui puis me tourner pour récupérer ma caution ? Merci d' avance pour vos réponses