Location FA: l'agence ne fait pas le contrat

Bonjour,
j'ai contacté une agence il y a un mois pour une location,cette dernière a fait visiter la maison une première fois, puis le propriétaire exigeant de nous rencontré, à assisté à cette rencontre.
Au bout de 3 semaines (délais un peu long il me semble pour une location), un rendez-vous a été pris avec un huissier de justice (car l'agence ne savait pas remplir les papiers de location !!). Ce rendez-vous a été pris sans vérifier que le propriétaire était disponible (ce qui n'était pas le cas). Le propriétaire en ayant mare de l'incompétence de l'agence a décidé de faire finalement la location en directe avec nous.
Maintenant l'agence nous demande les frais d'agence et refuse de nous donner le double des clés tant que l'on ne paie pas.
Cependant, nous ne voyons pas pourquoi nous devrions payer 600€ de frais d'agence pour 2 visites.
Sommes nous dans notre droit de refuser de payer les frais d'agence ?
a l'heure actuelle, nous avons envoyé un recommandé à l'agence lui demandant un justificatif de ses honoraires et nous lui avons signaler qu'elle ne pouvait pas garder les clés "en otage".