Propriétaire ne veut pas rendre ma caution

Bonjour,
lorsque j'ai fait l'état des lieux de sortie du logement que je louais, mon locataire n'a fait aucune remarque sur une quelqueconque déterioration et l'a signer (il est donc vierge de toute remarque).
Il m'a rendu une partie de ma caution, en me disant qu'il me rendrait le reste après avoir calculer le montant des ordures ménagères et l'y avoir oté.
Or , il ne veut maintenant plus me rendre le reste de la caution ,car il dit que l'appartement était en mauvais état lorsque je lui ai rendu. Je lui ai fait remarqué qu'il n'a rien signalé et noté lors de l'état des lieux de sortie!
Quelqu'un peut-il me dire verse qui me tourner pour récupérer mon argent?
Il me semble qu'étant donné que l'état des lieux et vierge de toutes remarques et signé,je peux me retourner contre lui.
Merci à ceux quin pourront me renseigner.