Bail oral

Bonjour,
J'ai donné mon préavis à mon propriétaire plus tôt que prévu pour cause de mutation professionnel. Ce dernier ne l'a pas acceptée et m'obligeait à rester. Chose que je n'ai pas fait pour mes obligations professionnelles. Or il n'y a. Jamais eu de bail établi. Au moment de rendre les clés il refuse de me rendre mon chèque de caution. Du coup je lui fais signer un papier que les clés ont bien étaient rendu et le bon état des lieux.
Malgré le bail verbal et l'état des lieux correctes il était dans l'obligation de me rendre mon chèque de caution. Pas de dégradations et papiers signé donc il ne disposait pas de ces fameux deux mois en temps normal. Au bout d'un mois j'ai réclamé mon chèque il m'a envoyé paître. Maintenant c'est lui qui me réclame de l'argent en disant que le montant du loyer était plus élevé que prévu et ceci etabli lors du bail verbal. Comment me retourner contre lui? Est-ce que les chèques payés constituent une preuve du bon paiement des loyers?
Ce logement était une chambre meublé dans un appartement meublé pour collocation.
Merci pour vos réponses.