Retard Signature chez le Notaire / Pénalités

Bonjour,

Je devais normalement signer demain 29/05 (date définitive prévue ds la promesse) chez le notaire pour l'achat de mon appartement. Ayant pris du retard avec la banque pour de sombres histoires d'assurance crédit, celle ci ne pourra débloquer les fonds au mieux avant le 04/06.
Le notaire a donc proposé que nous fassions la transcation le 04/06. Le problème est que mon vendeur (qui a d'ailleurs le même notaire que moi) me dit qu'il n'est pas d'accord et que s'il n'a pas les fonds d'ici demain, il demande à annuler la vente et me réclamera donc les 10% de pénalités.
Quels sont donc mes recours dans cette affaire si je n'arrive pas (ce qui est pour l'instant le cas) à lui faire entendre raison?? Peut il porter l'affaire en justice pour retard de 3 jours ouvrés et si il le fait, a-t-il des chances de gagner?
Je vous remercie pour votre aide car là, la situation devient grave et desespérée!