Prêt immobilier au CIF

Nous avons contracté en 2008 un prêt immobilier pour financer l'achat construction de notre maison auprès du CIF. Les taux étant actuellement bas, nous avons voulu renégocier notre taux d'emprunt, ce qui nous a été refusé, soit disant à cause de la durée restante. Nous avons alors fait des démarches dans d'autres établissements bancaires, qui elles acceptaient. Le problème est que depuis 2011 j'ai moi même déclaré une maladie auquelle les assureurs ne me proposent plus que les options décès et PTIA si je change de banque. Je me retrouve donc coincé. Quel recours avons nous?