Rachat de Crédit

Bonjour,
Avec mon compagnon, en 2009, nous avons décidé d'acheter un appartement... pour financer cette opération nous avons pris :
- un prêt principal : 110 000€ à 3.9% à la Banque postale
-------> il nous reste environ 89 000€
- un prêt à 0% : environ 20 000€ au CCF
-------> il nous reste environ 9 000€

Actuellement, le Crédit agricole nous propose un rachat de crédit à un taux de 2.3%.
Mon compagnon et moi ne voulions faire racheter que le taux principal (environ 89 000€), mais le crédit agricole ne veut racheter que les 2 prêts soit 100 000€.
Donc en gros, je me retrouverai à racheter à 2.3% mon PTZ !

Comme explication, on m'a expliqué qu'en cas de défaut de paiement de notre part sur le PTZ, le Credit agricole se retrouverait en "conflit" avec le CCF et en particulier avec la garantie du prêt (crédit logement).

Est-ce légal ?
Parce qu'en gros on me dit c'est ça ou rien... ou sinon, je doit rembourser avec anticipation mon PTZ...

Merci d'avance pour votre réponse, mais j'ai vraiment besoin d'aide, je me trouve ainsi un peu démuni parce qu'on me dit que ça fonctionne comme ça et que si je ne suis pas contente, je n'ai qu'à rester ou je suis (pas dit comme ça... mais c'est ce qui était sous entendu !)

Cordialement