Vente appartement particulier prise par agence

Bonjour,

J'ai fait visiter mon appartement directement de particulier à particulier.
Ce particulier 2 jours après a été voir une agence pour voir ce qu'il avait.
C'était l'agence avec qui j'avais signé un mandat simple.
Cet agent a insisté pour que celui-ci vienne revisiter notre appartement avec lui, lui disant qu'il pourrait plus négocier le prix.

Suis-je contraint de verser sa commission à l'agent ?
Je précise que je n'ai pas signé avec lui de contrat exclusif.

Merci de votre réponse.