Probleme avec proprietaire

Bonjour a tous
Cela fait 3 ans que nous louons un appartement et suite à mon licenciement nous avons donné notre préavis. Nous n'avons pas eu de quittance de loyer du propriétaire. Au début de cette location nous etions en interim et étions payés le 11 de chaque mois, nlus en avions parlé au rpoprietaire et n'avons eu aucun soucis il était ok. Nous avons refait toutes les peintures de l'appartement et maintenant il nous dit vouloir garder la caution car a oublié de nous facturer, et ce depuis 3 ans, les ordures ménagères. Est ce rétroactif sur les 3 ans? Peut il garder notre caution qui s'élève tout de meme à 650 euros? Comment savoir le calcul des charges que nous avons payé sachant que nous n'avions ni ascenseur, ni gardien d'immeuble, juste le ménage? Comment savoir le montant exact des ordures ménagères? ppeut on lui demander sa taxe d'habitation sur laquelle serait peut être notifié le montant de celle ci?
Merci d'avance de vos réponses