Problème caution-incendie/feu cheminée

Bonjour,
nous avons été victime d'un feu de cheminée dans un appartement que nous louions (durant 7 ans ),les expertise des assurances en sont arrivées a la constatation que le conduit et la cheminée n'était pas aux normes ,non sans mal , l'assurance du loueur a donc pris en compte la mise aux normes et la réparation de la cheminée ....
par contre le loueur n'a pas fait repeindre ( malgré notre demande) les murs de l'appartement souillés par les fumées et l'intervention des pompiers ...
un peu plus tard , le loueur nous a mis la pression pour quitter les lieux (malgrés que nous ne soyons pas en fin de bail) en évoquant la raison d'un divorce , chose que nous avons faite histoire de ne pas rentrer dans une situation encore plus compliquée avec lui ...Après un état des lieux assez méticuleux (dont nous n'avons toujours pas le double !)mais ne faisant pas apparaitre l'état des murs , nous venons de quitter l'appartement avec nos deux petits enfants ... Il s'avère en réalité qu'il a récupéré l'appartement pour son fils , bon passons la dessus maintenant c'est fait ,mais notre problème c'est surtout qu'il ne nous rends pas la caution en évoquant le fait qu'il faille repeindre complètement l'appartement !!! et nous rétorque : "qu'il devait repeindre et que s'il le faisait repeindre par une entreprise cela couterai bien + cher que la caution" etc etc .... en + il n'aura j'en suis sûr aucune facture de peintures ou autre ( ou alors surement des fausses , se servant en peinture gratuitement au sein de son entreprise ) que dois je faire ? alors que nous lui avons demandé à l'époque de faire repeindre lors de la déclaration d'assurance et que les dégats ( c'est prouvé ) ne sont pas de notre tort ! ..... soit , nous devons rendre un appartement en l'état lors de la fin de location , mais là je pense qu'il peut avoir discussion non ?.... si quelqu'un peut m'éclairer avant que ça chauffe ( si je peux dire ! ) merci !....E.