Remboursement anticipé de credit immobilier

Bonjour,
Je voudrais des conseils concernant le remboursement anticipé de mon pret immobiler.
Lors de la souscription, nous avons négocié lors du contrat une clause stipulant que je n'aurais pas de frais pour remboursement anticipé sf rachat par la concurence.
A ce jour il me reste en CRD(capital restant dû) 93057,94 euros , je verse une mensualité de 1119,09 et mon pret se termine dans 103 mois. mon taux actuel est de 4.4 hors ass. donc 4.9% avec assurance calculé sur le CRD.
je désire rembourser 20000 euros à ce jour.
mon banquier m'a fait cette proposition ce matin.
donc à ce jour CRD 93057,94, je rembourse 1119.09x103=115266.27
il me propose de faire une renégociation de mon pret immob à 3.35% Hors assur sur la base du capital restant dû CRD 93057.94 SUR 96 MOIS
1129.55x96=108436.80
Il me dit que je gagne environ 6570.53 (- 622 euros de frais de dossier)
et ensuite faire le remboursement anticipé de 20000 euros , 3 mois plus tard environ
donc CRD 90840.72-20000=70840.72 donc il resterait 72 mois x 1104.77 =79543.94
donc il me dit que je gagnerai au total 35722.23 euros.

Je lui ai demandé dans un premier tps pourquoi je ne pouvais pas d'abord verser 20000 et ensuite renégocier le pret par la suite , il m'a dit que c'était pareil!!! il me dit qu'il veut me faire bénéficier du taux actuel et que p-ê dans un mois le taux risque d'augmenter.
Je lui ai demandé aussi pourquoi il n'avait pas accepté de renégocier le pret il y a environ 1 an lorsque les taux était bas, il m'avait dit à cette période que cela ne valait pas la peine, et là aujourd'hui il me propose de renégocier le pret sur la base de capital restant dû càd 93057.94
Que pensez vous de cette proposition, est elle honnête.
je ne sais plus quoi penser, dois-je accepter sa proposition ou simplement faire comme cela était prévu rembourser 20000 euros et ensuite renégocier le prêt.
Merci par avance de vos précieux conseils.
cordialement
.