Logement meublé - litige

Bonjour,
Je vivais en colocation dans un logement meublé. Le jour de l'état des lieux de sortie, le propriétaire remarque des marques grasses dues à de la pateàfixe sur deux murs du salon, il remarque aussi un petit coin de meuble gondolé du à de l'humidité et des petits trous dans un mur du couloir dus au frottement du tancarville pour étendre le linge mais décide de ne pas nous en tenir rigueur. L'état des lieux se déroule bien et dans une bonne ambiance.

A la fin, le bailleur explique qu'il n'a qu'une seule copie de l'état de lieux et qu'il nous enverra notre copie avec la totalité de notre chèque de caution. L'état des lieux s'étant passé dans la bonomie, nous acceptons sans se douter de la suite.

Deux jours plus tard, le bailleur m'envoi un SMS pour expliquer qu'il a trouvé un trou sur le canapé (qu'il n'avait pas vu durant l'état des lieux) et qu'il le rajoute sur l'état de lieux déjà signés 2 jours auparavant. Puis, un autre SMS pour dire qu'il trouve que l'appartement n'est pas suffisamment propre, qu'il va nous prélever une partie de la caution pour les trous dans le mur du couloir et pour les dégats matériels (dégats qui rappelons le : celui du canapé n'avait pas été vu à l'état des lieux et n'implique en rien que le canapé doit être changé puisqu'à part ce "trou", il est en parfait état & celui du meuble ayant prit l'humidité dont il avait décidé de ne pas nous tenir rigueur).

Quels sont nos droits ?
Puis je lui faire peur en lui annoncant que s'il nous rend pas la caution comme prévu, nous entamerons des procédures de justice avec lui ? Est-ce crédible ?

Louis