Papa délaissant ses enfants

Bonjour,
je suis une jeune maman 23ans,j ai deux enfant l un de 2ans et le derrier 5mois.
a l heure d aujourd hui je suis perdu,le papa est absent.il est sans employe depuis un bon moment et passe la plus part de son temps avec ces copains.en ce qui conserne les enfants il passe les voir quand il a le temps.face a cette situation j ai desidé de voir une mediatrice pour faire le point et pour le mettre face a ces responsabilité car ce ne sont pas des animaux mais des enfants qui on besion d un papa.
suite a cela plus rien ne va.il me rabesse, m insulte et a desidé de me retiré mes enfants par tout les moyen;

je suis conpletement perdu,ai je pris la bonne desision?a t il le droit de faire cela?que dois je faire?

merci d avance pour vos reponse.