Locatair Caution

Bonjour,
Je me permet de vous demander conseil suite à quelque soucis avec mon propriétair, Je vous explique un peu.

Je suis arriver dans mon appartement en octobre un appartement pris dans l'urgence suite a la naissance de ma fille, j'ai du refaire tout l'appartement du plafond au sol car il n'était pas très viable mon proprietair ma fait un mois de loyer offert suite à tout ces travaux. Le jour de la signature du bail je n'est rien signé et fait aucun état des lieu d'entrée. Mon proprietair m'avais dit qu'il s'occupait lui de la caution, aujourd'hui 9 mois après l'agence me reclame la caution.... a t il le droit que doit je fair, sachant que je déménage le 1 aout. Le fait de ne pas avoir fait l'etat des lieu d'entre peu suffire ?
Merci d'avance a toute les personnes qui prendront le temps de me lire et de me repondre.