Caution retenue pour ménage sur un appartement eu sale

Bonjour,

L'état des lieux d'entrée de notre appartement était l'état des lieux de sortie des anciens locataires, établi par huissiers, qu'on nous a demandé de signer avant d'avoir visité l'appartement. Sur cet état des lieux il était mentionné un état de saleté général de l'appartement. Quand nous sommes entrés dans cet appartement nous avons constaté un état de saleté extrême, nous sommes allés nous plaindre à l'agence, sans succès, nous avons donc mentionné ce fait dans une annexe à l'état des lieux d'entrée, que l'agence a signé.
A la sortie, l'état des lieux a également été fait par huissiers. Celui-ci mentionne de la saleté dans l'appartement (alors que globalement nous l'avons rendu bien plus propre que nous ne l'avons reçu). L'agence, bien qu'on nous avait certifié que nous ne serions pas pénalisés pour du ménage étant donné les circonstances dans lesquelles nous avions dû emménager, a retenu 623 euros sur notre caution. Ils ne nous ont pas donné le devis/facture malgré mes demandes répétées.
Pour justifier ce ménage ils invoquent des choses qui étaient présentes à notre arrivée (taches) et d'autres qui n'étaient pas mentionnées à l'état des lieux d'entrée mais que nous avions noté en annexes (quoique de façon plus grossière, puisque nous avions mis sols sales, et qu'ils parlent de plinthes poussiéreuses par exemple).
De plus, l'ampleur de la saleté est globalement subjective, et le problème c'est qu'à l'état des lieux d'entrée les huissiers devaient être moins sévères puisque je trouve que notre état des lieux de sortie est globalement plus sévère envers nous, qui avons rendu un appartement nettoyé, qu'envers les anciens locataires qui n'avaient même pas vidé leurs ordures!

J'aimerai savoir quel recours nous avons dans cette situation.

Merci d'avance