Problème avec dépôt de garanti

Bonjour,
J'ai un pb depuis le mois de juillet avec mon ancien propriétaire.
Lorsque nous avions louer son logement, (location non meublée je précise, c'est également inscrit sur le bail), il y avait un meuble dans la cuisine. Le propriétaire nous a demandé de le stocker dans le garage car il comptait le jeter plus tard. Ce que nous avons fait. En juillet 2015 nous avons quitté le logement. Sur l'état des lieux de sortie, tout est nickel, RAS. Le meuble de cuisine était toujours dans le garage. Nous attendons donc notre dépôt de garanti.
Fin août, nous recevons une facture du propriétaire nous indiquant que comme nous avons abîmé son meuble (qui a prit l'humidité dans le garage), il en a acheté un autre a 1000€, et nous devons lui rembourser la moitié ! Donc il garde le dépôt de garanti et nous réclame 150€ supplémentaire. Nous lui écrivons donc une lettre pour exprimer notre désaccord et récupérer notre dépôt de garanti. En novembre, toujours pas de réponse, alors nous renvoyons un courrier pour obtenir une réponse. L'agence a finit par nous envoyer un mail lundi, en nous disant que le propriétaire aimerai savoir quel montant nous souhaitions mettre pour remplacer le meuble abîmé...
Sur internet, le meme type de meuble que lui (vieux meuble des années 70) coûte environ 40€. Que dois-je faire? Sachant que je n'ai pas trop envie de lui payer son meuble! Et je pense que je n'ai pas à lui payer et que lui est en tord... Non? Que faire?