Le propriétaire veut déduire la caution des charges

Bonjour,
Nous avons louer un appartement de septembre 2015 à avril 2017 . Lors de l' entrée dans les lieux, le propriétaire nous a demandé si l' on voulez payé de manière échelonné ( payé le mois d 'après pour le mois précédent) ou non . On lui a dit non donc dès notre entrée nous avons fourni un chèque pour le mois de septembre. Le logement n' était pas en très bon état et le propriétaire le savait ( aucune fenêtre du salon ne s 'ouvré , blattes et cafard, toilettes qui ne fonctionner pas,l 'évier pareil, on avait pas trop la choix sinon on se retrouvé à la rue et ils nous avaient dis que ils arrangeraient ça mais il ne l' a jamais fait malgrès nos messages ...) Il nous a alors pas fait d 'état des lieux et pas fait payer de caution ( donc il n 'y a pas eu d 'acte de cautionnement, de document écrit) .
AU bout d 'une année notre voisine nous informe que son propriétaire lui rembourser ses charges . Or notre propriétaire nous en a jamais fait part. On le contacte , il nous ramène donc un papier qui n' est pas le bon ( on a demandé à une maison du droit) , et expliquer ce qu'il fallait . Il nous a dit qu 'il donner ça à ses anciens propriétaires. A force il nous a ramener le papier pour 4 mois seulement. On lui a entre temps rappeler qu 'il fallait qu 'il nous rembourse le reste. On avait l'intention de quitter l' appartement dans pas longtemps et on se douter qu' il ne voulait pas nous rembourser nos charges. Quelques jour avant le déménagement il nous a dit qu' un état des lieux serait fait . On lui a dont dit que ce n' était pas trop possible vu qu' il n' y en avait pas eu à l' entrée . Le jour ou l on est parti , il vient nous voir pour nous dire qu' il va faire le chèque des charges mais qu' il va déduire un loyer car nous n' avons pas encore payé celui d 'avril car on a payé en échelonné. On lui a dit que non ce n' était pas possible qu 'on payé en début de mois pour le ois qui arrivait . On était énervé donc on est partis . Ensuite , il nous a rappelé et nous a dit qu' en fait ce n' était pas ça il doit déduire la caution aux charges qu 'il nous doit . Alors qu 'il n' y a jamais eu de caution et de contrat de caution. Que faire pour pouvoir enfin récupérer nos charges ( 500 euros et quelques)