Caution amputé

Bonjour,
j'aie quitté mon appartement le 27 août, j'aie eu des difficultés pour récupérer ma caution dans les délais, 15 jours de retard, sachant que lors de l'état des lieux rien n'a été signalé, et le propriétaire m'ampute ma caution des charges des poubelles de 2010 et 2011 en totalité, alors qu'il n'a jamais réévalué les charges tous les ans.Je payais 120euros par mois,avec fioul,eau et poubelle. En 2008,2009 et 2010 il ne m'a jamais rien demandé. Je pense en plus en faisant quelques calculs qu'il a trop perçu de charges, mon erreur a été de ne pas demander les justificatifs tous les ans.
Que dois-je faire maintenant?