Il me menace de prendre mes enfants

Bonjour,
cela fait 7 ans que je vie avec mon concubin, nous avons 2 enfants, 3 ans et 3 mois et notre couple ne va plus bien du tout.dernièrement il a entretenu une relation extra-conjugal pendant plusieurs mois mais tout en vivant à la maison.il ne veut pas quitter le domicile, pour ses enfants et dit que c'est à moi de partir.qu'il me laissera voir les enfants quand j'en ai envie.mais, bien sur, j'estime que c'est à lui de partir et si j'essaie de lui dire, il me dit qu'il partira avec les enfants et que je ne les reverrai plus.il est bien sur hors de question, selon lui, de passer devant un tribunal!
alors dites moi, s'il vous plait, que mon problème n'est pas sans solution, j'ai besoin d'un peu d'espoir car j'avoue que là, ça commence à être très dur!
merci d'avacnce