Vente directe - acheteur rdv avec agence

Bonjour,

Je me trouve dans une situation cocasse.
J’ai signé un mandat simple avec une agence immobilière il y a quelques mois.
Ayant une visite de prévue de mon côté, je me rends à l’adresse en avance pour vérifier l’état du bien. Je surprends alors quelqu’un semblant rôder autour du jardin.
Je l’interroge, nous bavardons, il semble intéressé, je lui fais visiter l’appartement. Nous négocions le prix et il me fait une offre.
Visite-surprise merveilleuse semble-t-il.
Sauf que voilà, il avait rdv avec l’agence pour visiter l’appartement quelques jours plus tard.

La question est donc la suivante : ai-je le droit de faire une vente directe de particulier à particulier, sans passer par l’agence ? Ou dois-je quand même payer sa commission à l’agence, pour la prise de rdv ?

Merci beaucoup pour vos réponses !