Rétractation d'un compromis par le vendeur

Bonjour,
Ayant trouvé un accord sur le prix et sur la chose(article:1583 du code civil),par téléphone avec le vendeur car il habite à 400km de la maison,il a demandé à son notaire de rédiger un compromis qui devait être signé à 18h.Le notaire nous a demandé tous les renseignements nécéssaires à cette signature.Le propriétaire devait annoncer à l'agence immobilière ôu il avait donné un mandat simple qu'il avait un acheteur et qu'il cessait le mandat.1h avant la signature le vendeur nous appelle en disant que l'on suspendait la signature car l'agence avait un client et raccroche rapidement.On se rend quand même à l'étude notariale et la notaire nous dit que l'agence ayant un client et un mandat(non exclusif)le vendeur était exposé à des pénalités s'il ne signait pas avec leur client.On essaye de la convaincre qu'étant les 1ers acquéreurs et vu que l'agence n'a pas l'exclusivité,il a le droit de signer avec qui il veut sans pénalités ni pression.Elle nous dit que le compromis est prêt,mais qu'elle attend accord du vendeur pour nous le faire signer et éclaircissement de la situation.Pour nous il était clair que la notaire était de mèche avec l'agence car elle n'a voulu nous laisser aucune preuve écrite de notre passage et notre implication dans cet achat.Après il a été aisé à l'agence d'envoyer par mail la promesse qu'ils ont fait rédiger à leurs clients avec le moins de clauses suspensives à leur client de manière à ce que leur dossier soit le plus favorable face au vendeur.On s'est renseignés auprès de l'adil,la répression des fraudes,la chambre des notaires,les conseillers juridiques et tous ont dit qu'il pouvait signer avec nous sans craindre des pénalités.On lui a fait suivre la liste des contacts allant tous dans ce sens.Malgré tout il a signé avec eux,par retour de courrier le lendemain soir.Nous n'avons aucune preuve écrite de son engagement envers nous uniquement des présomptions puisqu'il a fait établir le compromis.N'est il pas en faute d'avoir"vendu" son bien 2 fois? comment faire pour que la vente soit faite à notre avantage puisque nous étions les 1ers?Merci de nous conseiller