Rachat prêt immobilier

Bonjour à tous,

en 2005, j'ai contracté un prêt immobilier (Prêt jeune) plus un prêt à taux zéro au Crédit immobilier de France.
Le prêt jeune consistait a avoir pendant 3 ans un taux fixe à 4% puis un taux révisable.
L'année dernière, je suis donc passé en taux révisable, ce qui m'a couté une augmentation de 90€ environ par mois puisque les taux étaient remonté en flèche (crise oblige). A ce moment là, on me fait une proposition pour passer à taux fixe que j'accepte.

Fin d'année 2009, je décides de racheter le prêt principal du crédit immobilier.
Or, maintenant le CIF me demande de rembourser aussi le prêt à taux zéro.
Ma banque, la Société Générale, me dit que c'est illégal de forcer le rachat du PTZ, mais le CIF me soutient que leur clause est légale (validé en appel par en 2007 à Toulouse et en 2008 à Colmar - je n'ai pas réussi à retrouver ces textes sur internet).

Qui à raison, qui à tort ? que puis je faire?

merci d'avance de votre aide.