Refus vente après accord oral

nous recherchions une maison et une agence nous a présenté un bien qui a retenu notre attention. Le 15 mars 2010 noyus avons fait par téléphone une offre relayée par l'agence qui n'a pas été acceptée. Après négociations un prix a été accepté toujours par téléphone via l'agence immoblière par le vendeur. Un compromis de vente a été signé par nous et devait être adressé au vendeur pour finaliser cet accord le lundi 22 mars après que nous ayons eu l'aval de notre banque.
Ce même jour l'acheteur fait savoir à l'agence qu'il retire son offre car une autre agence l'a démarché jeudi 18 mars et lui a proposé une meilleure offre......

Nous sommes désespérés car nous devons trouver avant fin juin un toit.
Peut-on obligé le vendeur de vendre puisque nous avons une attestation de l'agence confirmant les termes d ela transaction acceptée même si la somme proposée était en deçà du mandat qui lui avait été donné?
Que faire