Pret immobilier refusé

Bonjour,
voici mon probleme j'éspère que vous saurez me répondre.
nous avons signé le 28 avril 2008 une promesse unilatérale de vente concernant notre futur terrain. dans cette promesse nous avions jusqu'au 14 février 2009 pour obtenir pret et permis de construire.
Le permis a été obtenu début février 2009 et apres moult retards nous avons vu banquiere début février également pour finaliser l'offre de pret.
et depuis cet entretien :PLUS AUCUNE NOUVELLE !!
completement injoignable, ne me rapelle pas suite aux messages laissés etc...etc..
la date limite de la promesse de vente dépassé, le notaire nous appellé afin de savoir ou nuos en etions et a promis d'appeller la banquiere.
Appel du notaire aujourd'hui, elle a réussi à joindre ma banquiere et celle ci lui a avoué n'avoir pas transmis notre dossier à son organisme car elle savait que cela ne passerait pas pour diverse raisons.
la notaire m'a donc mis en face de 2 choix: 1. abandonner le terrain et regler une indemnité. 2. changer de banque et payer l'integralité du terrain+construction (a savoir que nous sommes passé par le courtier de notre constructeur qui n'a trouvé qu'un seul établissement bancaire susceptible de nous suivre et voila ou j'en suis !!)
je vais donc annuler ce terrain mais par rapport au contrat de construction les conditions suspensive sont : la propriété du terrain en mon nom et l'obtention des pret. je n'ai aucune preuve de refus de pret et meme si le choix est facile concernant le terrain il reste que c'est nous qui décidons d'annuler et par conséquent nous devrions payer des indemnités au constructeur !! et je ne veux pas payer mon constructeur c'est trop enorme !!!
croyez vous que je suis coincé?? vais je devoir payer des indemnités au constructeur alors que mon banquier ma l'aissé tomber et que je n'ai pas de preuves??
je ne sais vraiment pas quoi faire !!

merci de vos réponses