Refus de pret apres delais et preaccords

Bonjour,
Je vais essayer de faire simple.
Un compromis de vente a été signé début janvier.
Trois banques mon confirmé oralement sans étude approfondi du dossier un accord de pret.
Un courtier m'a fait miroiter un pret a taux plus interessant que les banques.
Je l'ai donc laissé faire.
Au 13 mars, après un énième coup de téléphone, le courtier daigne me transmettre une attestation d'obtension de pret daté du 23/02, la date de la clause suspensive était le 21/02.
Le 20 avril sous pression de l'agent immobilier, le courtier m'annonce le refus de trois banques.
Suite a cela, je me suis retourné vers mon banquier, celui ci m'annonce son refus de pret, qui m'avait accordé oralement en janvier.
Aujourd'hui, je suis en pleine négociation, via l'agent immobilier, avec les vendeurs.
Il nous réclame la somme mise sous séquestre (soit 7000€) comme résolution de l'affaire. Sinon la menace est la justice pour reclamer la clause pénale qui est de 23000€.

Plusieurs questions:
Pouvons nous faire marcher la clause suspensive, étant de bonne fois?
En cas de justice, peuvent t ils remettre leur bien en vente, ce qui a déja été fait par l'agence?

Nous avons besoins d'aides, car nous avons l'impression d'avoir été abusé par un courtier malhonnête et des banques trop commerciales.