Rétractation constructeur

Bonjour,

Je souhaite récupérer un séquestre sur un terrain (me rétracter car l'apport total est trop conséquent >60K). 
Mais j'ai signé une offre de prêt (transmise au notaire).. 
Je suis passé par un courtier en travaux et j'ai appris (après avoir signé l'offre de prêt), que le gros oeuvre allait changer (celui avec qui j'avais signé ne peut plus). Puis je me rétracter sous ce motif ? (le courtier en travaux dit qu'il m'a retrouvé une entreprise. Mais ce n'est pas elle avait qui j'avais signé...). 
D'autant plus que la banque est passée par un organisme qui vérifie les artisans (verifimmo), or un des principaux artisans change, donc je me dis que cela peut rendre l'offre caduque...

Sinon si je vais à la banque en leur expliquant que je ne peux plus assumer ce prêt (en justifiant une baisse de revenu, un non capacité de l'apport), peuvent ils revenir en arrière ? 

Merci à vous.