Caution gardée par mon ex conjoint

Bonjour,
Au mois de février avec mon conjoint nous avons pris un appartement à louer. Le bail étant à nos deux noms.le loyer prélevé sur son compte bancaire. La caution étant un chèque que j'ai fais moi même avec donc mon nom dessus.
Deux mois plus tard on se sépare et rend l'appartement. La caution est versée sur le compte de monsieur par virement. J'ai tout essayé auprès de l'agence pour récupérer moi même la caution . Ils n'ont rien voulu savoir. (C'est un appartement social.)
Quel recours ai-je ? Mon ex entend bien garder l'argent. Dois-je portais plainte ? Aller en justice ? Il y en a pour quasiment 700 euros quand même...
Merci d'avance