Rompre un sous seing car offre de prêt inadaptée

Bonjour,
Mon mari et moi avons visité une maison et sommes allés voir la banque pour savoir si nous pourrions la financer, sachant que notre maison actuelle n'est pas vendue.
Le banquier nous propose un prêt relai en franchise totale ce qui revient à la simulation suivante (fournie par écrit) :
56000 euros de prêt relai remboursable en 24 mois soit 23 mensualités de 139 euros et la 24ème de 56000 et quelques euros, remboursable en anticipé sans pénalité si nous vendons notre maison actuelle avant les 24 mois.
et 200 000 euros pour prêt principal sur 20 ans en franchise totale soit les 24 premières mensualités à zéro euros et 1180 euros par la suite.
Cela signifiait que jusqu'à la vente de notre maison, à raison de 24 mois maxi nous avions pour seul frais les 139 euros par mois du prêt relai.
Munis de cette simulation nous signons un sous seing privé chez le notaire.
Finalement la banque envoie une proposition définitive de financement totalement différente. La franchise totale s'avère impossible, ils nous proposent alors 139 euros de prêt relai et 450 euros sur les 24 premiers mois du prêt principal. Avec 2 maisons à charge , cela nous met en difficultés.
Dans ces conditions, cela ne nous convient plus, pouvons nous refuser et annuler l'achat sans pénalités puisque la banque ne respecte pas ce qui était convenu au départ ?
Merci de vos réponses. Cordialement,
VV