Achat terrain sans condition suspensive d'obtention du permis de construire

Bonjour,

Je souhaite acheter un terrain mais le vendeur stipule que l'obtention du permis de construire ne fera pas partie des conditions suspensives car il souhaite vendre rapidement.
Comment puis-je me protéger en cas de refus du permis de construire ?
Est-ce que la banque peut annuler le crédit entièrement et donc au final suspendre la vente ou bien elle débloquera quand même les fonds pour le terrain ?
Merci beaucoup pour votre aide.