Remboursement anticipé sans frais

Bonjour,
Je vous explique ma situation, Je viens de me marier, mon mari à une maison dans le 44 et moi je vis dans le département voisin. Il a donc trouver un nouvel emploi dans mon département et ainsi nous vivons ensemble.
nous voulons garder sa maison en tant que maison secondaire pour le moment car à terme nous reviendrons vivre dedans.
Nous sommes actuellement entrain de vouloir renégocier le prêt de sa maison, la banque ne faisant pas d'offre intéressante, nous voulons voir ailleurs pour faire racheter notre crédit ; je voulais savoir si nous pouvions éviter d'avoir des frais de remboursement anticipé étant donné que mon mari à changer de travail et de domicile, mais tout en gardant la maison.