Clause pénale, quels sont mes recours

bonjour, j'ai signé le 3 février un sous seing d'abord privé pouis devant notaire pour l'achat d'une maison appartenant à ma voisine. sur l'acte j'ai noté le montant d'un crédit pour cet achat, mais voulant faire des travaux j'ai fait une demande de prêt supérieur. il est vrai que je n'ai pas respecté les délais : deux mois pour le dépôt de prêt, le 18 avril j'ai reçu un courrier du notaire disant que les délais étaient passés et je n'ai pas répondu alors que je n'avais que 8 jours pour le faire. le délai pour l'acte définitif était au plus tard le 30 avril. n'étant plus sur de vouloir faire cette acquisition j'ai laissé des messages vocaux au vendeur, le 2 mai lui disant tout d'abord que le prêt était accepté par deux banques, puis me ravisant, alors que la vente devait intervenir au plus tard le 30 avril, j'ai envoyé un mail au notaire le 3 mai disant que le prêt était refusé, ai téléphoné hier (le 9 mai) au vendeur pour lui notifier le refus de prêt et ai envoyé ce jour au notaire le refus écrit de la banque, qu'elle m'a établie avec une date antérieure. je crains que mon laxisme me porter préjudice, le vendeur pourra-t'il faire valoir la clause pénale facilement se qui me sauve c'est que je n'ai pas versé de dépôt de garantie. quels sont les risques que j'encours. merci de votre réponse