Changer de banque avec un crédit immobilier en cours

Bonjour,
Suite à un différent avec ma banque (crédit agricole) avec laquelle j'ai un crédit immobilier en cours, je me suis laissée tenté par la concurrence (caisse d'épargne) qui m'avait assurée (verbalement évidemment) que je n'aurai aucun problème et que le crédit agricole ne pouvait m'obliger à garder un compte là bas même si j'ai un crédit en cours. J'ai posé la question plusieurs fois, j'ai dit au conseiller qu'il me semble bien que dans le contrat du crédit immobilier il est bien indiqué que je dois avoir un compte au crédit agricole. Le conseillé de la caisse d'épargne est resté sur ses positions alors je lui ai fait confiance. Seulement voilà, ce que je sentais arrivé arriva, le crédit agricole refuse de clôturer mon compte sous prétexte que j'ai un crédit immobilier en cours... Étant seule et en micro entreprise bien évidement un rachat de crédit n'est pas envisageable... Alors est-ce que quelqu'un saurait qui a raison, la caisse d'épargne ou le crédit agricole ? Quelles démarches puis-je faire ?
En vous remerciant par avance