S'opposer à une délagation de mandat de vente

Bonjour à tous
Je reviens vers vous à propos de la vente d’un terrain confié à une agence avec un mandat exclusif de 3 mois.
Avant de mettre ce terrain dans une agence je l’avais mis sur un site de particulier a particulier et un indépendant de l’immobilier m’avais contacté
A l’époque aucune suite n’avait été donnée.
Maintenant cet indépendant revient à la charge et m’informe avoir reçu une offre d’achat pour ce terrain
Je l’ai renvoyé vers l’agence et l’agence m’informe que cette personne demande une délégation afin de finaliser la vente
De mon coté je suis totalement opposé à traiter avec cette personne car elle me harcèle au téléphone depuis un mois (environ20/30 appels) pour me réclamer le plan, le nom dem on notaire, etc.
Question : Si l’agence s’arrange avec cette personne puis je m’opposer à une délégation de mandat, et si oui comment ?
Merci de vos conseils. Remerciements anticipés