Refus de restitution du dépôt de garantie

Bonjour,
Un état des lieux d'entrée et de sortie ont été réalisés par un huissier. A la sortie l'huissier a déclaré verbalement la réfection d'un séjour en peinture et un nettoyage d'une moquette de chambre. En écrit sur l'état des lieux : "je constate une zone marquée d'usure de fibre de verre laissée par les grattements d'un chien" et : je constate des taches sur la totalité de la superficie de la moquette, cette moquette est en mauvais état". Le bailleur m'a annoncé verbalement 500 € de retenue pour l'éxécution de ces travaux. A ce jour, le bailleur m'annonce avoir fait des travaux largement supérieurs à ce qui été dénoncé par l'huissier, et qu'en aucun cas il ne pourra me rendre mon dépôt de garantie, le montant étant largement supérieur à celui-ci ; il m'indique avoir refait, les plafonds, les portes, une autre pièce, mis du parquet à la place de la moquette etc... et me compte tous ces compléments à mon compte, il dépasse largement l'écrit de l'état des lieux ! il va me fournir la facture avec les détails notés par l'entrepreneur ! Comment dois-je faire pour récupérer la partie du dépôt de garantie devant me revenir ? d'autant plus que l'état des lieux de sortie est meilleur que celui d'entrée ! Comment dois-je procéder, vers qui dois-je me retourner ?
Merci pour votre réponse.
Christine.