Probleme locataire et Proprietaire

Bonjour,
Je vous écrit car j'ai un gros souci. Je louais un appartement avec mon ami mais suite à une séparation il à quitter le logement me laissant seule a gérer financièrement l'appartement.
Suite à un accord avec le propriétaire il m'a laisser partir un mois après mon dépôt de préavis.
Seulement maintenant que je suis partie, il change d'avis et me demande de régler les 3 mois de préavis obligatoire et me préviens qu'il ne me rendra pas ma caution a cause des travaux dans l'appartement ,soi disant à cause de nous alors qu'on étaient là seulement depuis 4 mois.
Il m'a dit prendre 20€/h pour le ménage sur ma caution.
Comme j'ai dit ne pas être d'accord, il me menace d'appeler un huissier.
Cepandant à l'arrivée dans l'appartement on à fait aucun bail, ni contrat de location.
Quels sont mes droits? Merci beaucoup