"Eclatement" de la vente par le vendeur

Bonjour,
J'ai signé un compromis de vente début décembre 2010.
Les démarches auprès de la banque ont été laborieuses. Le délai pour la présentation de l'offre ayant été dépassé, j'ai dû demander une prolongation qui a été faite jusqu'au 15 avril 2011.
J'ai transmis l'offre de prêt au notaire le 19 avril, soit 4 jours après la date butoire.
Apparemment, ça n'a pas posé de problème.
Je dois signer chez le notaire le 1er juin, une fois que le solde des frais de notaire sera débloqué d'un contrat d'assurance vie et versé sur le compte de l'office.
Aujourd'hui, trouvant le temps long, le vendeur me menace de faire éclater la vente, si je il n'a pas ses fonds en début de semaine prochaine. Le problème est que je n'aurai pas les fonds avant 10 jours, qupar conséquent la vente ne pourra pas être signée avant le 1er juin, et que le vendeur refuse de me rembourser les 4 350 € de frais de réservation que j'ai versés pour l'appartement.
En-at-il le droit ? Comment puis-je procéder pour récupérer mes fonds si le vendeur annule la vente ?

Cordialement.

Aurélie