Assurance facultative décès pour un prêt immo

Bonjour,
J'ai souscrit un prêt immobilier et on m'a obligé à prendre une assurance décès. Mais partout sur le contrat il est marqué "assurance facultative" et je ne vois nulle part que le prêt est conditionné par l'assurance. L'argent m'a été versé (avec l'assurance accordée) en Juillet. L'assurance groupe devait me prélever depuis Aout, or ils n'ont rien fait. Fin Novembre, j'ai fait un remboursement anticipé partiel et apparemment cela les a réveillé car ils viennent de me faire un prélèvement fin Décembre (en apparemment sans tenir compte de mon remboursement partiel). Je souhaite arrêter complètement l'assurance décès, en disant que c'était facultatif, que ça ne correspond plus à mes besoins, que depuis Aout ils sont en faute (ils ne m'ont rien prélevé et donc je n'étais pas couverte) et que le montant à couvrir n'est plus le même. Je ne sais pas si cela peut être accepté ? Est-ce que la banque peut me retirer mon prêt ?
Merci pour votre aide.