Crédit Immobilier de France

Bonjour,
Je vais vous expliquer ma situation. Je suis en couple avec mon conjoint. Nous vivons actuellement dans sa maison. Pour avoir cette maison, il a contracté un prêt, avec son ex, auprès du Crédit Immobilier de France, il y a 3 ans sur 30 ans.
Nous souhaiterions racheter la maison et son ex n'y voit pas d'inconvénients.
Cependant, nous avons des difficultés à trouver un établissement bancaire pour pouvoir effectuer notre projet. En effet, je suis en CDI mais mon conjoint est intérimaire sera en CDD pour 3 mois le mois prochain, donc pas de sureté de travail de son coté.
Nous nous sommes renseigné au Crédit Immobilier de France pour m'intégrer au prêt, mais ils ne prennent pas de nouveaux clients et n'accordent plus de prêt car en mauvaise posture financière.
Pourriez-vous m'aider à trouver une solution ? Nous avons eu dans l'idée, sur avis de notaire, de désolidariser son prêt pour qu'il soit que à son nom à lui seul. Puis, que je contracte un prêt seule de mon coté pour rembourser la moitié de son prêt. Ce qui fait que nous aurions chacun son prêt à rembourser.
Pensez-vous que cela est faisable ?
Quelle(s) autre(s) solution(s) avez-vous ?
Je vous remercie par avance de vos réponses, et espère avoir décrit mon problème clairement.