Annulation d'un mandat

Bonjour,
Je suis propriétaire d'un appartement que j'ai mis en vente.J'ai fais appel à une agence pour cela et j'ai donc signé un mandat simple il y a 15 jours.L'agence en question a trouvé un acheteur au prix du mandat,mais je ne souhaite plus le vendre(raison personnelle).Ai-je le droit de refuser la vente?!
D'aprés l'agent immo,je n'ai pas le droit et il veut faire appel a son avocat etc........
Que dois-je faire?
Merci d'avance.