Besoin de conseil rapidement

Bonjour,
voilà, je vis avec mon ami depuis plus de 4 ans. Nous sommes en union libre. Ensemble nous avons eu une petite fille. Aujourd'hui, il m'annonce qu'il veut mettre fin à notre relation. Il me demande de quitter le domicile qui est le sien. Son motif: "je ne m'investie pas assez et je ne suis pas bonne ménagère" .A ma grande surprise! Pour le premier motif je lui est répondue que c'est lui meme qui ne voulait pas sous pretexte que j'étais moins argenté que lui .Pour le second, c'est vrai que mes priorités sont d'abord de m'occuper de ma fille. Nous sommes tout les 2 artisans à la différene que moi j'ai levée le pied et lui au contraire se surcharge de travail.De plus se rajoute à la liste une famille possessive et un frère qui fait du bénéfice au détriment de notre famille etde notre vie de couple.Tout ça, orchestré par ma belle mère qui ne pense qu'à m'évincer pour avoir la petite à sa guise (1 fois par semaine sans compter des dimanches les jours de fêtes et j'en passe...) ne lui suffisait plus . Elle n'arrêtait pas de me reprendre sur l'éducation de notre fille même devant lui . Quand je lui disait qu'elle n'avait pas à intervenir. Il dédramatisait le situation souvent en se moquant de moi.Je suis anéantie Je me retrouve sans rien à tout devoir recommencer. J'ai été voir une avocate qui l'a assigné. Depuis, ce ne sont que des reproches, des intimidations et des menaces. Prise de force pour savoir qui prend la petite tel jours etc...Ma question est celle là: Est-ce que je peux partir avec ma fille en lui la laissant qu'un mercredi sur deux et pour le wk idem en attendant le JAF. Je ne veux pas de garde alternée, je me suis toujours occupée d'elle et je tient à 1 seule résidence par souci d'équilibre. Il n'a jamais fait aucun effort depuis que nous vivons ensemble. Maintenant il parade avec sa famille et fait tout pour montrer qu'il est présent. J'en souffre énormémant Quel sont mes droits en attendant de passer au jaf il n'y aura rien d'écrit parce qu'il veut la récupérer en sachant en plus qu'il est moins disponible que moi. Il a prit également un avocat ce sont des gens qui sont dans la toute puissance. J'attends vos conseils merci