Mon propriétaire refuse de me rendre ma caution

Bonjour,
J'ai un problème avec mon propriétaire.
En effet, j'ai commencé à lui louer un studio meublé à partir du 31 août 2015. Se basant sur sa bonne foi, et qu'apparemment il avait fait comme ça avec tous les étudiants précédents, nous n'avons fait qu'un contrat oral : J'étais engagée à payer tous les mois mon loyer, et les prévenir un mois avant de partir. Je leur ai donc versé un mois de loyer d'avance, comme caution.
En avril 2016, au moment de payer mon loyer pour ce mois, je les préviens de mon départ pour la fin du mois de mai, et mon propriétaire me demande si je revenais au mois de septembre. Je lui ai dit que mon retour n'était pas sur, car à priori je changerais de logement. Mais que mon départ à la fin du mois de mai était sûr.

Je leur rappelle donc ce mois ci que je m'en vais à la fin du mois, afin de se donner rendez-vous pour faire un état des lieux et récupérer ma caution, qui avait été encaissée au mois de septembre. Mais ceux-ci me disent que je leur devais un préavis de 21 jours, chose que je n'avais pas faite d'après eux, car ce que je leur avais dit était "flou".
Je leur demande donc d'avoir cette conversation avec mon responsable légal (car ils s'étaient ligués tous deux contre moi et c'était une conversation de sourd ), afin de se mettre d'accord, et m'ont répondu "On ne se mettra pas d'accord avec lui non plus."

Je tiens à préciser que l'état du studio est impeccable, et que rien n'est dégradé. Il est d'ailleurs même plus propre que ce que j'avais trouvé.
Le problème, c'est que comme le contrat a été oral, le préavis l'a été aussi, et je n'ai pas de preuve écrite de tout cela. Je n'ai qu'un bon de dépôt de garantie, ainsi que mes relevés bancaires (qui montrent d'ailleurs que 2 chèques ont été prélevés le même mois. ), et ma déclaration à la CAF que j'avais commencé à habiter seule en septembre également.

J'aimerais réellement récupérer ma caution, car j'ai vraiment l'impression qu'ils cherchent des excuses afin de garder la caution, et ne pas me rembourser. Je suis étudiante, j'en ai réellement besoin afin de pouvoir verser la caution de mon prochain studio.

Que faire ?