Mon conjoint veut me mettre dehors

Bonjour, ça fait environ 4 ans que nous sommes ensemble F et moi, union libre,il est propriétaire depuis un an environ. j'ai deux enfants( 12 et 7 ans) d'une relation précédente et nous avons une fille en commun de 20 mois. Beaucoup de disputes, de menaces et il y a eu même des coups,et il s'en prend même à mes deux premiers enfants surtout verbalement, il veut me mettre dehors avec les enfants et cela se produit régulièrement, je suis sur la défensive, même agressive car j'ai peur, qui peut me dire les droits que j'ai? Merci