Prêt principal et prêt à taux 0%

Bonjour
J'ai souscrit un crédit immobilier au Credit Immobilier de FRance en 2005 mentionnant le souhait d'avoir un prêt à taux fixe, nous avons "hérité" d'un prêt à taux Variable (prêt principal). Nous avons souscrit dans le même temps une crédit à taux O% à cette même agence.
Compte tenu de la hausse actuelle des taux d'intêrets, nous souhaitons faire un remboursment par anticipation de notre prêt principal. Est-il possible de laisser le prêt à taux O% au Crédit immobilier de France tout en remboursant par anticipation notre prêt principal ? Notre banquier nous assure que oui, le crédit immobillier de France nous assure qu'il n'est pas possible d'effectuer cette opération.
Avez-vous des éléments pour m'aider.
J'ai consulté le code de la construction et de l'habitation ainsi que le code de la consommation (L.312-21)
Je vous remercie pour votre aide.