Refus de prêt et conséquences

Bonjour,
Voici mon histoire, nous avons pour projet avec mon conjoint d acheter un plateau brut pour en faire un loft.
Nous avons donc signer un compromis pour un plateau en juillet 2020. Nous avons donc fait appel à un architecte, fait des devis et démarcher les banques. Nous avons également eu les coordonnées d un directeur d agence par notre agent immobilier. Il était très confiant et nous avons fait appel à cette banque.
Plusieurs semaines après nous avons obtenu un refus...car le devis travaux était trop important. Par la suite notre agent immobilier nous a recommandé un courtier. Sa façon de travailler et ses offres ne nous plaisant pas, nous avons fait appel à un autre courrier. Il nous a fait une proposition auprès d une banque que nous avons accepté. Malheureusement après 1 mois et de nombreux appels et mails pour avoir des nouvelles, nous avons eu un refus de prêt car le devis travaux était encore trop important (nous avions baissé le montant de 20 000 euros).
Nous sommes au mois de février et nous nous sommes rendu compte que notre projet tombait à l eau. Un premier appel de l agence nous dit qu il faut 3 refus à envoyer au notaire (nous n en avons que 2). Un deuxième appel nous dit que même 10 refus ne seront pas assez, que le promoteur réclamera sans doute ses 10% voire des dommages et intérêts et que même l agence pourrait réclamait ses frais...parce que nous n avons pas accepté la proposition du premier courtier.
Nous nous sommes donc rapprochés de ce courtier afin qu il nous refasse une proposition. Nous attendons donc la suite ...
Avez vous déjà connu une situation comme celle là ? Est ce normal ?
Nous sommes jeunes et très inquiets. Nous avons peur de voir disparaître toutes nos économies...

Merci de m avoir lu.