Garde de notre bébé

Voilà je vous explique la situation.
J'ai un petit garçon de 11semaines, avec le papa nous avons jamais vécu ensemble. Quand j'ai su que j'étais enceinte il voulait que j'avorte mais j'ai refusé et lui ai dit que je lui demandé pas de le reconnaître s'il ne voulait pas et que je pouvais l'assumer seule. Au cours de la grossesse il a changé d'avis et voulait que j'accouche sous X pour récupérer l'enfant sans que je sois dans sa vie ni dans celle de notre bébé, j'ai refusé. J'ai reconnu notre enfant avant sa naissance et avant lui (il porte mon nom), à la maternité ils m'ont mis sous secret pour nous protéger et notre bébé a été mis sous surveillance en néo nat (car ils avaient peur d'un enlèvement alors que les visites je me retrouve seule à faire face enfin...), le procureur a fait une main levé et m'a autorisé à rentrer chez moi avec notre fils. Nous avons été convoqué au juge pour enfants qui a demandé une expertise psy et une enquête social, j'ai été aussi convoqué à la gendarmerie pour m'expliquer. Depuis sa naissance il l'a vu 4 fois car je ne m'oppose en aucun cas à la relation père-fils mais il demande toujours plus de la première visite 15h-18h on est passé à 14h-19h (j'ai toujours peur qu'il ne me le ramène pas de plus l'échange se fait dans la rue même s'il pleut) je tire mon lait (il veux que j'arrête l'allaitement car selon lui mon lait n'est pas adapté à son fils et que cela le fait trop grossir) pour la visite mais lui souhaite l'avoir tous les weekend du samedi 8h au dimanche 20h moi je trouve qu'il est trop petit donc j'ai demandé à mon avocate de faire un reféret au JAF pour statuer sur les visites et si on peux attendre qu'il soit plus grand (que je ne l'allaite plus) pour l'hébergement et j'en ai parlé au père qui samedi dernier m'a dit il y a deux possibilités :
-soit c'est à l'amiable j'ai la garde de mon fils et tu le vois de temps en temps( 1fois par mois ou tout les 2 mois quelques heures)
-soit c'est devant la justice et je demande la garde sans que tu puisses le voir et pour cela j'utiliserais tous les armes même si je perds je ferais en sorte que tu ne l'ai pas non plus.

Je sais plus quoi faire car je vais devoir patienter 2 semaines pour joindre mon avocate qui est en vacance. Y a t'il des possibilité que se soit vrai se qu'il dit? est ce que je peux perdre la garde de notre bébé?si oui pour quels motifs? Je précise que je ne bois pas, ne me drogue pas j'ai un travail en cdi même si c'est pas un 35h (30h)et je viens de prendre un congés parental de 6 mois. De plus j'ai passé un concours pour entrer en formation afin d'avoir un meilleur travail.