Proposition de vente, puis silence du vendeur

Bonjour,
Je suis actuellement locataire d'une petite maison d'un bailleur social.
En juillet l'année derniere (2009) ils font etablir un prix de vente par un notaire, puis me propose d'acheter cette maison, en répondant par recommandé.
Nous acceptons la vente au prix proposé.
jusqu'a aujourd'hui plus aucune nouvelle malgré des relances téléphonique.... meme le notaire n'avait plus de nouvelle.
Entre temps on a abandonné face au silence du bailleur "vendeur", et on a acheté une autre maison, offre de pret en cours d'edition.
Nous avons donc envoyé notre congé pour la location, et comme par hasard, aujourd'hui courrier du notaire qui nous demande plan de financement etc.... et de le contacter dans la semaine pour signer le compromis.....
Probléme: on a acheté autre chose
On nous a dit qu'on etait lié car la vente est dite parfaite puisque entendu entre vendeur et acheteur le prix.
Qu'elle recours avons nous??????
Peut on se retourner contre eux? on a l'impression d'etre un peu prit pour des "vache à lait" vous louer on prend l'argent , vous voulez partir? pas possible vous etiez d'accord pour acheter....
Merci de votre aide.