Mon ancien bailleur me réclame de l'argent.

Bonjour,
Voila mon soucis est le suivant: j'ai rendu les clefs de mon appart après un état des lieux où que je savais que certaines peintures était à refaire. Mon bailleur ne m'as plus donné signes depuis ce jour là. Donc n'ayant plus de nouvelle au bout de 3 mois et demi , je lui envoi une lettre AR en lui réclamant ma caution sachant qu'il avait dépassé le délai de 2 mois. Une semaine après il me retourne une lettre en me disant que ma caution a servis à payer les peintures et que je leur devais 460€ en plus. il m'on joint une copie d'un devis non signé et une autre facture de petit travaux hors délai.
Ma question est : Ont-il droit de me réclamé cette argent hors du délai de leur 2 mois puis-je faire quelques chose pour récupérer ma caution ou une partie.?