Garde enfants pour parents pas encore separés

Bonjour,
Je voudrais savoir si j'ai le droit de partir avec mes deux enfants de 11 et 13 ans qui portent le nom de leur père sans que l'on soit mariés. Car le père rentre tous les jours de la semaine après 21h alors qu'il fini à 18h20, le weekend il part dans l'aprés midi avec la seule voiture qu'on a jusqu'à des 2h du matin, de plus il ne s'occupe pas de ses enfants. Et enfin, il boit et par moment il lui arrive de devenir violent si je discute avec lui de notre avenir. Il dit qu'il va partir mais il ne le fait pas et moi j'en ai marre, j'aimerais partir mais j'ai peur pour mes enfants et je ne veut pas qu'il les garde. Que dois-je faire ?