Nombre de refus de prêt pour annuler un compromis

Bonjour,

Après avoir eu une accord de principe oral de ma banque, après signature d'un compromis chez un notaire demandant la recherche d'un prêt auprès de ma banque (la même que celle qui m'avait donné un accord de principe oral) et la recherche d'un prêt auprès d'une autre banque.
J'ai finalement eu un refus de prêt de la part de ma banque. Celui-ci suffit-il ou dois-je pouvoir en fournir un second? C'est ce que m'a imposé le notaire, même au delà de la date butoir qui avait été fixée dans le compromis.
C'est pourquoi j'avais entamé des démarches auprès d'une autre banque, monté un dossier complet dont je n'ai jamais eu de retour, ni positif, ni négatif.
Après la date à la quelle la vente devait avoir été réalisée, j'ai entrepris des démarches auprès d'un organisme de crédit qui a obtenu un nouveau refus.

Cependant, je viens de recevoir un recommandé du notaire me disant que le vendeur me réclame les 10 % du montant de la valeur du bien dans la mesure où la vente n'a pas eu lieu et dans la mesure où je n'ai pas pu fournir deux refus de prêt avant la date fixée dans le compromis.

Que puis-je faire pour ne pas devoir cette somme pour une maison que je ne peux pas acheter?

Merci d'avance.