Emprunt immo accepter er refuser pour refus permis construire

Bonjour,
Je dois signer le 23/09 l'acquisition d'un terrain jouxtant ma propriété. J'ai demandé à ma banque un emprunt immo en prévoyant la construction d'un garage sur ce terrain (emprunt immo- sinon emprunt type "prêt à la consommation").
Prêt accepté et signé par les 2 parties, passé le délai légal de 11 jours.
J'ai déposé ma demande de permis le 09/07. J'ai eu une réponse négative dans un 1er temps pour manque de pièces dans le dossier (photos et simulations avant/après le projet).
J'ai redéposer la demande de permis de construire, mais la mairie ne m'a pas fourni de preuve de dépôt des nouveaux documents fournis.
Or, ce jour, ma banque m'appelle en me disant qu'il ne pourront pas procéder au paiement, puisqu'ils n'ont pas confirmation de l'acceptation du permis de construire par la mairie.
Ils décident donc, puisque je suis dans l'incapacité de fournir ce permis, d'annuler l'emprunt.
Je ne peux donc pas signer et risque de devoir payer des frais au vendeur pour lui avoir fait perdre son temps (et son argent).
La banque a-t-elle le droit de procéder de la sorte alors que dans l'acte de vente, l'achat du terrain n'est pas soumis à l'obtention du permis de construire ?
Que puis-je faire pour obtenir réparation (dans le cas où ma banque ai fait fait un excès de zèle, bien évidemment) ?
Merci d'avance pour vos lumières et le temps que vous acorderez à ma misère !
Bien courtoisement,