Honoraires demandés sans visite effectuée

Bonjour,
Suite à une annonce vu sur LBC, j'ai contacté l'agence et lui ai laissé un message indiquant la maison à vendre qui m'intéressait.
L'agence m'a rappelé et donné quelques renseignements mais m'a proposé un rendez-vous pour une visite que j'ai décliné.
Le lendemain, en demandant dans le village en question, parmi les maisons à vendre connues, j'ai abouti à ladite maison sur laquelle un panneau de l'agence se trouvait.
J'ai rencontré le propriétaire avec qui la négociation s'est effectuée en direct.
Surprise, l'agence l'ayant appris, me menace et réclame les honoraires par sms.
Pourtant, aucune info concernant l'adresse du bien ou l'identité du propriétaire ne m'avait été communiquée au préalable par l'agence et aucun rendez-vous prévu. Est-ce légal de réclamer des honoraires dans ce cas de la part de l'agence (mandat simple, pas exclusivité)?
Merci pour vos éclairages juridiques.