Résiliation du bail avant la date de prise d'effet

Bonjour,
J'ai signé le 9 juillet 2017 un bail avec le propriétaire d'une maison (que j'avais contacté directement sans passer par une agence), avec date de prise d'effet le 28 août. Il m'avait demandé, oralement, de le signer le 9 juillet parce qu'il voulait être certain que je ne me désisterai pas. J'ai versé un dépôt de garantie d'un mois le 9 juillet. Comme dédommagement, j'ai proposé au propriétaire qu'il conserve ce dépôt et qu'il dédommage l'agence (bien qu'elle n'ait rien fait)

Comme le propriétaire est à peu près illettré, il avait demandé à une agence de lui remplir le contrat. Cette agence a signé le contrat type dans la case "mandataire" mais n'a pas paraphé le document. Je n'ai d'ailleurs jamais rencontré l'agence ni rien signé pour elle.
Pour diverses raisons, dont le fait que la piscine ne dispose d'aucun dispositif de sécurité et que le propriétaire m'a dit après la signature qu'il allait repeindre pdt 4 jours alors qu'avant la signature il a dit qu'il le ferait avant notre entrée dans la maison, j'ai décidé de résilier le bail. J'ai donc adressé une lettre de résiliation en A/R le 21 août avec effet le 20 septembre.
L'agence me demande de lui payer les honoraires (prestations de visite, de constitution de dossier et de rédaction de bail ainsi que d'état des lieux).
Puis-je refuser?

merci de votre retour.
bien à vous
éric