Propriétaire voulant contester l'état des lieux de sortie signé

J'ai déménagé le 1 décembre, le 3 décembre nous fassions l'état des lieux de sortie, tout ce passe parfaitement ,nous rendons l'appartement propre et en état, appart quelques trou reboucher ou nous avions accrocher quelque tableau, sinon appart ça rien à signaler. 3 semaines plutard nous recevons un appel de ce propriétaire qui a finalement changé d'avis, veut refaire un etat des lieux car selon lui " Il n'avait pas vu certaines choses " il nous parle de vouloir refaire tout les murs du salon à neuf pour 6 trou, et nous parle de moisissure ( à savoir que l'appartement était mal isolé, nous n'avons cesser de lui dire pendant toute la duré ou nous avons habité dans l'appartement ) donc l'humidité et moisissure ne son pa causé par nous ! Ma question est à il le droit de revenir sur un etat des lieux signer de sa main ? Et surtout des semaines après ? Car du coup il refuse de rendre la caution, et veut l'utiliser pour faire les travaux de son appartement. Et forcément je ne veux pas payer ses travaux d'isolation qui a mon sens ne nous concerne pas.