Renégociation de mon taux de crédit immobilie

Bonjour,
J'ai emprunté il y a 2 ans 150000 € au CIC pour l'achat d'un appartement avec un taux de 5,04 %sans assurance.
Mi décembre, je me lance au vue des taux actuels et demande de renégocier mon taux auprès de ma banquière.
Auparavant, j'ai contacté la caisse d'épargne et celle-ci me propose un taux de 3,80 %.
Depuis 3 mois, plus de nouvelle de ma banque, malgré tous mes appels à la plateforme à Lyon et mails.

Hier, j'ai reçu enfin un mail je que vous joins :

"Pour le moment , le siège ne m'a pas donné d'accord favorable pour la renégociation de votre prêt.
Car la proposition que vous a fait la caisse d'épargne ne prend pas en compte votre franchise (attention vous allez devoir tout de suite rembourser votre prêt en totalité alors que vous ne percevez pas encore le loyer), les deux propositions ne sont plus du tout pareils, vous ne pouvez donc pas comparer les deux offres."

Que faire pour accélérer les choses, je sais que de changer de banque va me couter 6000 € mais au final dans 20 ans j'y gagne 40000 €.
Dois-je changer de banque, dois-je insister auprès du CIC ?

Merci d'avance de m'aider par vos réponses.