Frais de notaire suite à une rétractation

Bonjour,

Je suis censé acheter un appartement, mais j'aimerais me rétracter.
Le soucis étant que si j'annule je ne pourrais pas me faire rembourser les frais de notaire.
Si c'est la banque qui refuse ce pret (j'ai deja eu l'offre de pret,ça va passer en commission si j'ai bien tout compris), est-ce que je récupererais tout ?
J'ai signer à mon travail une rupture conventionnelle, donc je serais au chomage, si je le dis à la banque est-ce bon ? La signature officiel de la rupture conventionelle est bien après avoir vu le notaire, mais j'avais déjà lancer les démarches un jour avant le rendez-vous avec celui-ci, en signant un papier comme quoi je demander la démarche pour lancer la rupture conventionelle, mais celle-ci ne c'est signé que deux semaine après le rendez-vous chez le notaire.
Puis-je avoir des soucis à cause de ça ?