Remboursement anticipde prêt suite à départ en retraite à 65 ans

Bonjour,
Suite à mon départ en retraite à l'age de 65 ans de mon entreprise, j'ai décidé de solder un prêt immobilier dont le capital restant est de 44 k €, ce qui me permet d'économiser 437 € chaque mois et donc d'améliorer ma retraite qui passe de 62% à 68% de mon salaire d'actif.
Ma banque (CREDIT AGRICOLE) m'oppose l'article L312-21 du code de la consommation (article figurant au contrat) et me prélève un semestre d'intérêts du capital remboursé (1100 €) ; je lui oppose que je suis dans le cas "d'une cessation d'activité forcée" en raison de mon age, mais cette dernière fait la sourde oreille.
Ai-je raison ? Quels sont mes moyens d'actions pour obtenir une remise sur les indemnités prélevées ?
Pour mémoire, le prêt initial était d'un montant de 125 k€ sur 180 mois au taux de 4,9% mis en place en novembre 2008 et il avait déjà été remboursé en partie (72 k€ en février 2009) : le CA m'avait déjà pénalisé de 1600 € pour remboursement anticipé
Dans ces conditions, ces 2 pénalisations font que je paie environ 1 année supplémentaire d'intérêts.
Enfin, actionnaire à très petit niveau du CA (1 K€), mon capital investi a été divisé par 10 en raison des errements boursiers que chacun connait