Mon bébé à 2 mois et nous sommes séparés

Bonjour,
Nous étions séparés avec le papa avant la naissance et les choses se dégradent depuis la naissance.
Comme j allaité, on s était mis d accord sur une visite de sa part le lundi à mon domicile. Il n est jamais venu car il dit qu il travaillait alors que je le voyais au bar. Je n ai pas eu de ses nouvelles pendant 1 mois même pas de visite ou message pour Noël..
Il m appelle la semaine dernière comme si de rien n était et veut voir son fils. Je lui dis que ça se passe pas comme ça. On n à pas un enfant juste quand on en a envie. Il me dit que je refuse qu il voit son enfant et qu il va m envoyer les assistantes sociales. Je refuse pas qu il voit son enfant mais il peut pas venir que quand il veut. Moi je bosse je m organisé pour être au mieux pour mon fils et je veux le protéger. Il a pas de travail et loue une chambre dans une maison. Je veux aller voir un.juge pour qu il voit son fils dans un endroit neutre avec une tierce personne parce que je peux plus le voir, il est trop manipulateur. Est ce une solution envisageable? Dois je avoir peur qu on m enlevé mon bébé ?