Pénalités relatives au remboursement anticipé d'un crédit immobilier

Bonjour,
j'ai souscrit un prêt immobilier auprès d'une banque Française pour l'achat d'une résidence secondaire à l'étranger.
Je suis sur le point de vendre ma résidence principale en France pour en acheter une nouvelle dans une autre région en France (à 700 kms environ). Je peux justifier qu'il s'agit d'une mobilité professionnelle car je travaille à domicile dans le cadre de mon contrat de travail.

Dans ce cadre j'envisage de changer de banque, avec un rachat du prêt mentionné précédemment.

Dans le cadre du code de consommation puis-je justifier de cet évènement pour demander une exonération totale des pénalités de remboursement liées à ce prêt relatif à l'achat de ma résidence secondaire ?

merci