Rachat de credit et probleme ptz banque

Bonjour,Je me tourne vers vous pour un coup de main.
Je m'explique:
Pret immo + PTZ en septembre 2011 à 4%. sur 20 ans
Renegociation nouvelle Banque aujourd'hui à 3% sur 15 ans.
Je demande au CM le fameux decompte de remboursement anticipé ils m'en font 2 (1 pour le credit et l'autre c'est le PTZ) soit 46€ de frais ;(
Ma nouvelle banque me dit qu'il n'a pas besoin du dit papier du PTZ puisque cela n'est pas dans mon interet e le rembourser et qu'il est impossible de le faire changer de banque à moins d'un rachat ce qui n'est pas rentable.
Hier je me rends au CM pour commencer par enlever les comptes de mes enfants et je lui explique que je garde le PTZ au CM.
Elle me repond que ce n'est pas possible car il y a une clause dans mon prêt qui dit:
-Au cas ou le contrat comporte plusieurs prêts ,l'emprunteur souhaitant effectuer un remboursement anticipé partiel pourra affecter la somme remboursée proportionnellement aux differents prêts en cours dans le respect des montants minimaux prévus ci-dessus.A défaut d'un tel choix,le remboursement anticipé partiel sera affecté au prêt immobilier bénéficiant d'un taux le plus faible.
Mais il se trouve que j'ai trouvé ceci sur internet :
Rachat pret taux zero : est-ce obligatoire ?

J'ai donc fait un courrier à ma conseillere lui stipulant les lois et que cela était dans son interêt comme dans le mien que nous nous entendions.J'en ai fait une copie qui est partis aussi à l'agence et selon la réaction une copie au directeur.
Après avoir exposé mon problème a ma futur nouvelle banque il me dit de me tourner vers des associations de consommateur si le CM ne veut pas accepter à garder mon ptz ou sinon il me propose le rachat de mon ptz (bien sur pas à 0).
Peut etre que des gens se sont retrouvés dans ma situation ou que quelqu'un qui connait le probleme peut m'aider.
merci