Caution non-restitué

Bonjour, je vous explique mon cas on a loué un appartement sans avoir réalisé d'état des lieux d'entrée au bout de quelques semaines on c'est vite rendu compte des malfaçons dans l'appartement (sucre d'électricité à jour sans cache dans un trou de mur derrière le meuble cuisine, mauvaise isolation des fenêtre ou encore la plomberie de la baignoire ...)
bref à la sortie au moment de la remise des clé nous lui avons fait signé un état des lieux où c'était marqué idem qu'à l'entrée pour toutes les pièces de l'appartement, il a signé sans trop savoir ce qu'il signait parce que monsieur avait rendez-vous donc il devais vite partir , ce jour même il ne nous a pas restitué la caution de 550 euros sous prétexte que c'était l'un de ses fils qui l'avait. je lui ai donc fais parvenir par courrier recommander le faite qu'il me devais la caution je lui est même fais parvenir ma nouvelle adresse.
Le problème est que j'ai reçu une lettre simple de mon propriétaire disant que étant donné qu'il était pressé il n'a pas regardé les détails de l'appartement car il avait rendez-vous et qu'il a constater le lendemain qu'il manquais des rideaux et que le canapé hors d'usage ( or le canapé était déjà hors d'usage à l'arrivé et il n'y a jamais eut de rideaux) cependant aucun de ces élément n'est stipulé dans le bail as-t il le droit de me demander réparation (et de garder ma caution) après remise des clé?