Impossibilité de récupérer la caution ?

Bonjour, je suis un étudiant, j'ai loué un studio pour 3 mois, après cela, j'ai dû quitter mon logement faute de moyens. J'ai prévenu mon propriétaire qui était d'accord pour que je quitte le logement après 1 mois au lieu de 3 (soit 2 mois avant la fin du préavis ). Après avoir fais l'état des lieux, le propriétaire m'a dit qu'il allait me rendre la caution après 2 mois, les 2 mois sont passés sans qu'il ne m'appelle, j'ai essayé de le contacter mais en vain. 4 mois après avoir quitté mon logement, il m'appelle pour me dire que je ne pourrais pas récupérer ma caution car je suis parti sans préavis.
Mon propriétaire a-t-il raison? ou est-ce un arnaque? sachant que j'ai eu son accord pour quitter le logement à l'avance