Pénalités retard signature (20.000€)

Bonjour,
Je m'adresse a vous suite a un problème de pénalités demandé du vendeur pour cause de retard.
La signature de l'acte de vente de la maison remonte au 7 février. Suite à cet acte de vente, le courtier à démarcher divers banque et au final c'est orientée vers BNP paribas. Lors de la réception et la lecture du dossier nous avons constates que le courtier a fait passer se plan de financement en Taux variable alors que j'avais stipulé précisément mon refus quant a ce type de taux. Mon courtier m'a assuré avoir compris et a fait une nouvelle demande. Une fois le nouveau dossier arrivé en main, j'ai constaté avec stupeur exactement le même contrat avec le même taux. Ne comprenant pas la situation j'ai appelé la banque qui ma prévenu que le papier était incomplet (il a caché la partie du taux variable), j'ai donc contacté L'agence immobilière, qui a convoqué sur le champ le courtier. Suite a la confrontation, le courtier a reconnu avoir été malhonnête, cacher une partie du contrat et exécute de faux papier. A ce moment on se retrouve Mi avril
A partir de ce moment j'ai moi même pris les choses en main et est démarché un nouveau dossier les banques et j'ai signé avec une banque le 22 avril (préaccord avec la banque prés de chez moi). Le montage définitif du dossier a pris environ 3 semaines, sans compter le pont de mai, etc....j'ai attendu leur réponse définitif (venant de paris), 23 juin, soit 2mois d’attente, et j’ai signé le 25 juin en attendant les 10jours pour leur renvoyés notre accord. Finalement la banque (venant du siège de paris) m’écrit en m’avertissant que le papier de l’avenant manquait. Ce qui a encore retardé le RDV avec le notaire Maintenant tout est en règle, mais forcément la vendeuse se retourne contre nous en nous demandant des pénalités.

Quels sont les démarches, et que dois je faire pour m’opposer a cette demande (car on parle quand même de 20.000€ que je ne peux pas du tout payer !).
Ce message est très urgent et je vous remercie de toutes les réponses qui m’aideront.
Cordialement,
julien