Concubine 2 anfants

Bonjour,
Je souhaite me séparer de mon concubin.Nous avons 2 enfants.Nous avons fait crédit pour une maison en construction avec un bon apport commun mais les remboursement sont à mon seul nom bien qu'il y ai solidarité au niveau de la banque.
Il ne veut pas me vendre ses part alors que je serais avec les enfants (selon lui ,il ne peut pas s'en occuper à cause de ses horaires de travail(d'ailleurs je les veux avec moi)).
Lui a un logement (celui où nous sommes actuellement) au dessus de son lieu de travail .
Je trouve normal de vivre dans la maison avec les enfants en construction dés achévement de celle ci .
Comment est que ça marche auprés de la banque et au niveau notarial pour la maison.
Puis je l'obliger à me vendre ses parts.
Il veut se séparer mais n'accepte pas que je sois seule avec les enfants dans cette maison au cas où je déciderai de refaire ma vie ( ce que je n'envisage d'ailleurs pas ), je veux être tranquille avec mes enfants.
Il pense habiter quand bon lui semble dans la maison et quand il le voudra au dessus de son travail, m'imposant sa présence selon ses désirs.
Que faire juridiquement