Colocation sans bail, arnaque?

Bonjour, j'espère que vous pourrez m'éclairer.

Ayant trouvé un emploi dans un autre département (infirmière), il m'a fallu un logement, que j'ai trouvé sur le bon coin.
Il s'agit d'un particulier qui vit au RDC de sa maison, et a aménager l'étage (3 chambres, salle de bain, cuisine, salon, bref tout ce qu'il faut) afin de proposer des chambres a la colocation.

J'ai pu visiter, il y avait déjà deux colocataires depuis récemment, cela paraissait bien.
Le propriétaire me dit qu'une des chambres sera libre au 1er Février puisque quelqu'un s'en va.
Je lui dit donc que devant commencer le 15 Janvier mon travail, je vais devoir trouver un autre logement.

La personne devant partir au 1er Février n'étant pas la depuis début Janvier (problèmes familiaux) mais payant son loyer ce qui est normal, il me propose de voir avec car cela pourrait l'arranger qu'il lui rembourse la moitié du mois et que j’emménage donc le 15, en payant le reste du mois. Il me demande également une caution, que je donne.

Selon ses dires la personne est OK, elle viendra juste a la fin du mois récupérer ses affaires, j’emménage donc la moitié du mois, et lui paye jusqu'au 31 Janvier.

Je commence mon travail qui ne se passe pas trés bien (ou je risque mon diplome), et décide de mettre fin a ma période d'essai le 22, soit une semaine après. Je l'averti, en lui disant que du coup je rentre chez moi, qu'il pourra donc remettre a la location la chambre, et que c'est normal qu'il garde le loyer que je lui avais payé.

Cependant, je viens d'apprendre qu'il n'a pas rembourser la première personne en question, n'a pas voulu lui rendre sa caution. Je le contacte donc en disant que cela n'est pas correct, c'était convenu qu'il rembourse la moitié du mois a cette personne, et que moi je paye la suite. Devant son malhonnêteté, je lui demande de me rendre ma caution, il refuse.
Donc il empoche de sa part un mois de loyer complet + caution, et la moitié du mois de ma part et caution.

Je précise que tout cela est fait sans bail ni aucun papiers, pour tout les locataires, et je suis sûre que ce n'est même pas déclaré...

Ai-je moyen de faire quelques recours pour récupérer mon argent?