Refus de rendre la caution.

Bonjour, je suis en conflit avec mon ancien propriétaire qui ne m'a pas rendu ma caution.
Voilà, à l'entrée dans les lieux il a exigé une caution de 2 mois (je n'ai pas eu le choix, il me fallait un appartement).
J'ai quitté l'appartement 3 mois après (sans donner de préavis), on a conclu oralement qu'il me rendait la caution si un nouveau locataire entrait dans les lieux avant 3 mois et que je paierai au delà si jamais aucun locataire ne se manifestait.
Un locataire est entré quelques semaines après ma sortie, le propriétaire m'a menti en me disant qu'il n'y avait toujours personne.
J'ai la possibilité de prouver qu'une personne est entré dans l'appartement à telle date.

Depuis maintenant plusieurs semaines monsieur ne répond plus au téléphone.

Une action en justice me serait favorable ou pas ?