Comment ne plus être co emprunteur

Bonjour,

Mon ex mari à fait un crédit à ma banque en 2007 alors que nous étions encore marié. La banque m'a demandé d'être co emprunteur , chose que j'ai fait , mon ex me précisant qu'il payerai tjrs.
Nous avons divorcé en 2010 . et depuis mon ex mari à cessé de payer , bien entendu les huissiers sont venues chez moi car lui n'était plus solvable , malgré un jugement de divorce , ou il apparait que je ne répond plus des dettes de Mr, les huissiers ont mis les courriers en mon nom . Heureusement mon ex repaye , mais il est interdit bancaires ( moi non , j'ai chéquier et CB) mais malgré tout lorsqu'il oublie de payer un règlement , les huissiers reviennent systématiquement chez moi .
Ma question est : j'ai refait ma vie et désire acheter une maison avec mon compagnon , est ce que cela va imputer sur ma nouvelle demande de prêt ( sachant que la demande de prêt sera faite dans la même banque qui à fait intervenir les huissiers et le prêt de mon ex cours encore 4 ans à venir )
puis je faire enlever le co emprunteur à ma banque , puisque je suis divorcé et que je n'ai pas de soucis financier .
Merci pour votre réponse , je n'ai rdv que dans deux semaines avec ma conseillère financière et j'angoisse de sa réponse .