Besoin d'aide, garde d'enfant

Bonjour,
J’ai un problème, et je ne sais pas quoi faire, j’espère que quelqu’un pourra m’aider.
Je suis séparée de mon ex depuis 9 mois, j’ai un bébé de 3 ans..C’est une séparation à l amiable sans aucun document juridique..
J ai quitté mon ex pour différentes raisons..Il passait tout son temps libre au bar, rentré souvent une fois mon fils couché.. Il n’assumait rien au niveau financier, et mon fils passait après tout !! Il m’insultait souvent vu qu’il buvait souvent…
Il le prend qu’une fois par mois et encore….ne demande quasiment pas de nouvelles, paye de temps la pension…
Il me prévient le samedi soir tard, pour le prendre le lendemain quand il ne trouve rien d’autre à faire, et me menace de poursuite si je réponds que c’est trop tard et qu’on est pas là !!
Mon fils ne réclame absolument pas son père vu qu’il ne s’en ai jamais occupé..et il adore mon nouveau compagnon..
Puis je m’opposer à lui laisser en étant prévenu que la veille au soir alors que pendant un mois je n’ai pas eu de nouvelles ? MERCI DE VOTRE AIDE