Frais d'agence dues si non signature de bail?

Bonjour,
J'ai trouvé une maison a louer avec une agence immobilière, il etait convenu verbalement que des travaux de raffraichissement devaient etre effectués avant l'entrée dans les lieux.
J'ai reglé les honoraires d'agence et ils m'ont remis une clef de la maison.
on a convenu que le bail serait signé que lorsque les travaux serait réalisés, puisque le loyer etait justifié uniquement si c'etait remis a niveau.
il a fallu que je rende mon ancien appart (préavis arrivé a echeance), je me suis donc installée dans la nouvelle maison, ou j'ai reglé le loyer en cours et la caution.
La fin du mois est arrivée et toujours aucun travaux commencés, etant donné le froid et l'etat de la maison (moisissures, humidité), j'ai quitté les lieux pour autre chose.(hebergement)
L'agence ne m'a pas rendu la caution mais apparement ils ont 2 mois pour le faire, et etant donné que je n'ai pas signé de bail, ont ils le droit d'encaisser les frais d'agence? Le fait que j'ai reglé le loyer ne me bolque pas? Ne fait il pas guise de bail??
merci de m'aider, je suis seule avec enfants, et la fin d'année n'est jamais facile financierement!
joyeuses fêtes quand même!!!