Refus de pret et clauses pénales

Bonjour,
Ma compagne et moi rencontrons un problème très anxiogène actuellement.
En effet, nous avons signé un compromis de vente pour une maison mais notre demande de crédit à été refusé par deux banques consécutives.
Nous en avons fait part a notre notaire (les vendeurs ont leur propre notaire, compromis tournant) et nous nous sommes fait une raison.
Nous avons fournis a notre notaire un refus avec un montant supérieur au montant inscrit sur le compromis d'environ 5% soit a la place de 176000 euros nous avions fait une demande de de crédit de 185000 euros (9000 euros supplémentaire pour améliorer le système de chauffage).
Je précise que j'ai fais passer par mail à mon notaire ce refus.

Deux semaines plus tard, mon notaire m'a informé par téléphone cette fois ci que le vendeur voulait faire appliquer la clause pénale et nous faire payer 16 000 euros pour avoir demandé une somme qui ne correspondait pas au montant du compromis.
Pour couronner le tout l'agent immobilier me dis qu'il faudra peut être payer en plus les frais d'agence, 7000 euros ...
Ce qui nous donne un note de 23 000 euros.
Une précision importante. je n'ai reçus aucunes lettre ou document officiel a ce jour.
Je précise que cette maison est la résidence secondaire du vendeur, a aucun moment il me semble nous n'avons porté préjudice à qui que ce soit (pas de déménagement, nettoyage ou autres préparatifs).
D'ailleurs les visites de cette maison faites par l'agence ont repris.
Mon notaire me dit clairement que le vendeur a pour seul but de faire de l'argent avec cette situation.

De mon coté je dois admettre être pris de court par tout cela.
Je suis atterré par tant d'avidité.

Quelle est la bonne attitude a adopter?
Quels sont les risques encourus pour nous et comment assainir la situation?
Beaucoup de questions sans réponses à ce jour.
Merci si quelqu'un peut m'aider.
André et Nicole