Faire jouer la clause pénale d'un sous seing

Bonjour,
J'ai signé un sous seing privé le 12 avril avec un "ami" Directeur de banque ( je suis client de sa banque ) chez mon notaire.Dans le sous seing je n'avais pas demandé de dépot de garantie.
Quelques temps plus tard il a décidé pour des raisons personnelles de ne pas donner suite au sous seing privé m'obligeant à contracter un prêt relais car le notaire avait fait coincider la vente de mon appartement avec mon achat d'une maison . Il n'a fait aucune démarche auprès du notaire pour annuler le sous seing privé et ne m'a plus donné aucun signe de vie depuis sa décision .... Le 16 juin conformément au disposition du sous seing privé je lui ai envoyé une lettre recommandée lui demandant de me libérer car j'ai retrouvé un acquéreur.
Le 24 juin veille du jour où on devait signer il a fait parvenir à mon notaire une attestation de sa banque ( signé par son adjoint ) qu'il n'avait pas pu bénéficier du prêt !!!
je voudrais faire jouer la clause pénale que mon notaire avait prévu en cas de défaillance

Qu'en pensez vous ?