Séparation

Bonjour,
Je suis mère de 2 enfants, j'ai un travail convenable; j'envisage de me séparer de leur père. J'envisageais dans un premier temps une garde alternée par principe, avec un homme "normal" mais la plus grande m'a déjà dit qu'elle ne pourrait pas vivre sans moi, et leur père a du mal à suivre quand il a la responsabilité des 2 dans la vie quotidienne. "c'est l'enfer" d'après ses propres termes de s'occuper du bébé. Je ne souhaite donc plus la garde alternée et j'ai même une petite appréhension quand je les lui laisse une soirée. Leur père est un homme perturbé, très anxieux, qui a déjà été violent avec moi (je n'ai pas porté plainte mais j'ai gardé les certificats et radiographies) malgré une vie professionnelle très riche, et où il est très apprécié. Il n'a plus de gestes violents physiquement vis à vis de moi mais continue à avoir des comportements que je trouve inacceptables (lumière intense en pleine nuit, retrait de la couette, harcèlement moral pour des choses sans grande importance, expression de souffrance intense régulière pour des broutilles, ou pour des situations qu'il crée lui-même...). Bref, il a des comportements que je ne puis plus supporter à ce jour, c'est la raison pour laquelle j'envisage une séparation.
Comme il est très intelligent, je préfère ménager mes arrières avant une séparation effective et avant de lui annoncer. J'ai également une inquiétude pour protéger mes filles d'une séparation cataclysmique.
Nous ne somme ni mariés, ni Pacsés, ni concubins. Simplement en union libre. Nous avons une maison en commun. Je n'ai pas encore les moyens de payer le prêt immobilier et un loyer donc j'envisage de co-habiter quelque temps en attendant, soit un rachat de mes parts par le père, soit la vente de notre maison. J'y suis très attachée mais la vie devient trop pénible de jours en jours. Je n'ai que des moments de répit entrecoupés de périodes de conflits pour un oui ou pour un non. Avec le temps et malgré une thérapie de couple, les moments pénibles se succèdent, sans fin.
Petit à petit, je me suis épuisée d'adaptation pour éviter les reproches, les conflits..mais aucune solution n'a porté ses fruits. Je m'aperçois aujourd'hui, en discutant avec des amies, que je me suis isolée et que simplement sa présence suffit pour me gâcher des moments de plaisirs. C'est un homme trop torturé pour moi et il me fait entrer dans des colères incroyables, que je n'avais jamais eues avant de le connaître.
Je voudrais savoir s'il est possible de demander la résidence principale de mes enfants chez moi, avec un droit de visite élargi assez souple pour le père. Dans quelles conditions peut-on envisager ce type de garde pour les enfants? Est-ce qu'un passé violent suffi pour faire pencher la balance de la résidence principale chez un des parents?
Merci de votre aide.