Retractation vendeur après acceptation de l'offre d'achat

Bonjour,
J'ai visité une maison le week-end dernier et dans la semaine qui a suivi j'ai fait une offre d'achat par mail à l'agence immobilière qui gère le bien. Cet offre a été acceptée pas le vendeur. L'agence immobilière m'en a fait part par téléphone puis par mail. Hier, l'agence m'a informée que les propriétaires avaient finalement reçu une offre plus importante que la notre et qu'ils voulaient se rétracter. L'agent immobilier m'a dit que de toute façon l'offre et l'acceptation n'avaient aucune valeur car nous n'avons pas signé de compromis. D'après les recherches faites sur internet, l'acceptation de l'offre vaut contrat. Que dois-je faire pour faire valoir mes droits s'il vous plaît ?