Frais de remboursement anticités

Bonjour,

Nous avons contracté un prêt auprès de notre banque afin de rembourser notre crédit immobilier et prêt personnel afin de ne faire qu'une seule mensualité, de plus de taux d'intérêt de l'immobilier étant à la baisse. Nous avons remboursé notre prêt immobilier au sein de la même banque.
Ne voilà pas notre surprise car des frais de remboursement anticipés ont été prélevés lors de remboursement. Notre conseiller financier lors de la signature définitive de l'offre nous avait confirmé que les frais n'étaient pas dus car c'était un remboursement dans la même banque.
Quels sont les cas pour lesquels les frais ne sont pas dus.
Merci pour votre aide.