Une partie de ma caution ne m'a pas été rendu

Bonjour,
j'ai déménagé de l'appartement que j'occupais et j'ai un souci de restitution de ma caution
J'ai reçu une partie de ma caution (caution de 960 euros, restitution de 560 euros), en effet le propriétaire m'a renvoyé cette partie avec un courrier m'expliquant qu'il gardait 400 euros pour travaux éventuels et régularisation des charges bien que mes charges soient payées chaque mois. Il me semble que le propriétaire ne peut faire ceci que si il ne me fournit aucun justificatif. De plus ma caution est arrivée un jour en retard mais bon je lui fait grâce. J'ai envoyé un courrier a mon propriétaire pour avoir ces justificatifs sans résultats. Cela fait plus d'un mois que j'attend et de plus l'appartement vient à nouveau d'être loué. Que dois je faire? Faut il lancer une procédure? Merci de votre réponse. Cordialement