Rétractation hors délai suite achat terrain

Bonjour,

Nous avons signé un compromis de vente le 15 Avril pour un terrain.
Nous devions versé un "acompte", sorte de provision, 10 jours après la signature.
Nous sommes passés à côté et n'avons eu aucune relance.

Nous n'avons pas pu faire l'étude de sol avant début Juillet, les travaux du terrain ayant été terminés début juin, l'expert ne pouvais pas passer sur le terrain avant début Juillet.

Et là, grosse douche froide, le terrain est de très mauvaise qualité, il nous faut ajouté plus de 18000€ au budget pour faire les fondations.
Le compromis a bien une clause suspensive concernant la qualité du terrain, mais le délai était de 60 jours, hors nous n'avons pu faire passer l'expert que 2 mois 1/2 après.

Nous avons contacté le promoteur qui nous avait assuré dans un premier temps que "3 rangées de parpaings sont suffisantes pour les fondations". Il a fait le surpris, accusant même notre constructeur de vouloir gagner de la marge sur le dossier. Nous avons donc fait passer un expert d'une société spécialisée, et le verdict est le même. Le promoteur a changé de discours, nous indiquant que pour 10000 euros les fondations pouvaient être réalisées, que l'expert se protégeait, sortait les "parapluies" etc, sauf que notre constructeur se fie au rapport d'expert et ne construira pas si les recommandations ne sont pas appliquées.
De plus, la banque ne nous suit plus car il faut ajouter 20000 euros au budget.

Le promoteur nous a dit que nous pouvions nous désister sans aucun problème, que son terrain il avait 15 clients derrière nous qu'il sera vendu sans problème.

Nous avons fait un mail il y a 10 jours au notaire + promoteur indiquant notre souhait de se rétracter au vu des problèmes rencontrés.

Et... évidemment ils nous réclament la provision que nous n'avons pas versée ( nous avons clairement oublié et n'avons eu aucune relance...), provision qui s'élève à 12000 €.

Les choses se tendent car le notaire nous parle de juge, du fait que nous sommes en tord que nous aurions dû verser cette provision (c'est vrai que nous aurions dû), qu'il peut nous faire un PV pour que nous exécutions notre engagement etc.

Nous nous sentons lésés car c'est tout notre projet qui tombe à l'eau car le terrain est de très mauvaise qualité, et en plus nous devons verser ces 12k € sans être sûrs de pouvoir les récupérer car les délais sont passés...

Pouvez-vous nous aider?
que pouvons-nous faire pour éviter de verser ces 12k€?
Merci d'avance, nous sommes perdus.