Séparation qui se passe mal

Bonjour,
Je suis séparée de mon concubin depuis le 31 juillet et cela se passe mal. Il s'est montré menaçant et violent envers moi, j'ai dû avoir recours à la police 3 fois en 2 semaines tout cela sous les yeux de notre fils de 2 ans et demi.
J'ai rdv jeudi à la maison de l'avocat et mon avocate rentre de vacances dans une semaine et j'ai besoin de conseils. Je sais que sans jugement nous avons les mêmes droits sur notre enfant mais aujourd'hui je refuse de lui donner car j'ai peur pour mon fils. J'ai trouvé une assistante maternelle pour le garder quand je travaille mais il exige d'avoir les coordonnées, il exige de voir son fils...que dois-je faire? Et surtout qu'ai je le droit de faire?
Je tiens a préciser que la semaine suivant la rupture j'ai TOUT fait pour que cela se passe à l'amiable, je lui ai ramené son fils tous les jours, j'ai été à l'écoute de mon ex malgré ce qu'il m'a fait subir pendant + d'un an. Je ne suis pas une maman égoïste mais une maman qui a peur.
Merci d'avance pour vos réponses