Domiciliation de compte

Bonjour, je suis profession libérale, lors de mon crédit immobilier la banque a ouvert automatiquement un compte professionnel pour y domicilier mon salaire. Ayant un compte professionnel ailleurs je leur ai demandé de le fermer à plusieurs reprises ils m’ont alors menacés d’augmenter le taux de mon prêt comme stipulé dans mon contrat si je ne continuais pas à verser mon salaire. Est - ce que le fait d’avoir signé le contrat fait que la clause est abusive quand même et que je peux contester cet augmentation ou est - ce trop tard? Merci