Erreur courtier - comment annuler une vente?

Bonjour,
J'ai contacté un courtier pour avoir une simulation concernant un achat d'appartement. Après plusieurs discussions, il m'a confirmé que mon dossier est finançable et je pourrais avoir un crédit sur 20 ans. J'ai donc signé le compromis de vente. 10 jours plus tard il m'a annoncé que mon dossier n'est pas accepté par les banques. En effet, il s'est trompé dans les calculs. Il a pris mon revenu brut au lieu de prendre le revenu net imposable. J'ai contacté un 2ème courtier qui m'a dit que mon dossier n'est pas présentable sur 20 et 25 ans car mon taux d'endettement est de 42% et le saut de charge est très élevé aussi. Les banques ne souhaitent pas me fournir les refus de crédit car elles ne veulent pas monter des dossiers qui ne sont pas finançables. De leur côté l'agence immobilière veut ces refus pour annuler la vente. Comme expliqué je ne peux pas présenter ces refus. Je ne sais pas comment annuler la vente et comment ne pas payer les pénalités qui s'élèvent à 35.5k ( toutes mes économies).
Avez-vous des idées comment m'en sortir?
Merci!