L'acheteur refuse de signer le compromis

Bonjour,
je vends un appartement par l'intermédiaire d'une agence qui a trouvé un acheteur.Après accord sur le prix un compromis a été redigé par mon notaire qui m'as conseillé de le signé,compromis qui a été ensuite envoyé à l'acheteur par l'agence pour signature.Trois semaines sont passés et toujours pas de compromis signés par l'acheteur qui aux dernières nouvelles n'est pas pressé car le prix ne lui convient plus et il pousuit ses recherches tout en gardant le dis compromis de mon appartement au cas ou il ne trouverait rien de mieux.Que faire ? car moi en attendant j'ai signé un compromis qui m'engage.Je passe aussi à coté d'éventuelles acheteurs certainement plus sérieux.Merçi de me renseigné sur mes droits et d'eventuels recours.