Rachat de crédit d'un VEFA

Bonjour,

J'ai acheté un appartement sur plan il y a 2 ans de cela qui sera livré prochainement.
J'ai une grande partie de mon emprunt qui est à taux zéro (environ 1/3 du prix de l'appartement)

Ayant eu de très nombreux problèmes avec ma banque lors des déblocages de fond, je ne souhaite pas qu'il "profite" de moi, donc je pense faire un rachat de crédit une fois que l'appartement est livré.
Lors du salon de l'immobilier, certaines banques m'ont signalé qu'il est possible pour ma banque actuelle de me "forcer" à racheter mon PTZ...
Qu'en est il réellement?

D'avance merci de votre retour.
Cdlt,
Amounek