Désaccord sur le mode de garde

Bonjour,
Je suis séparé de mon ex compagne avec laquelle j'ai eu une fille âgée à ce jour de 17mois(elle est née le 26 août 2016), le 24 août 2017. Je suis également père d'une autre fille âgée de 12ans. Nous ne sommes pas parvenu à cette période à un accord sur le mode de garde car la maman ne voulait pas que notre fille dorme autre part que chez elle. Je travaille de nuit et je lui proposais une garde alternée selon mon planning. Comme elle n'était donc pas d'accord et que ma situation financière est délicate, j'ai décidé de retourner vivre temporairement chez ma mère, et j'ai donc quitté le domicile familial le 25 septembre 2017. Il n'était toujours pas question pour la maman que je prenne ma fille pour m'en occuper chez ma mère, logement trop petit(T3), pas de chambres séparées pour mes filles, et présence de mon frère qui vit également chez ma mère et qui occupe donc l'une des deux chambres du logement, et qui en outre est fumeur. Nous avons donc convenu de visites au domicile de la maman pendant la journée pendant un peu plus d'1mois après mon départ, jusqu'à ce que la maman me demande de prendre notre fille pour quelques nuits selon mon planning de nuit car notre fille était malade(rhinopharyngite) et que les nuits étaient difficiles. Comme tout se passait bien pour ma fille dans les conditions d'hébergement au domicile de ma mère, nous avons convenu d'un mode de garde qui est le suivant : 1 week-end sur 2 du vendredi 17h sorti de la crèche et retour le dimanche soir 18h, 1 lundi sur 2 sorti de la crèche 17h et retour le lendemain 17h au domicile de la maman, et 1 mercredi et jeudi sur 2, 9h30 au domicile de la maman le mercredi matin et retour le jeudi soir 18h. Ces accords ont été convenu sans saisi du JAF.
Aujourd'hui j'ai annoncé à la maman que j'avais rencontré une femme qui est mère de 3 enfants et que j'avais l'intention de
passer quelques nuits chez elle avec mes filles de temps en temps. Suite à cette annonce elle m'a envoyé un message me disant je cite : "'Pour son bien et à presque 18mois, on ne peut plus faire aller et venir notre fille dans différents logements dont chez ta mère et chez cette femme où elle n'a pas sa chambre. C'est pourquoi à partir d'aujourd'hui il serait préférable que tu la vois seulement chez moi, sa maison, en attendant que ta situation se régularise et que tu puisses lui apporter toute la stabilité qu'un bébé à besoin. Bien entendu, tu pourras la voir quand bon te semble sous réserve de me prévenir à l'avance."
Nous avons convenu de saisir le JAF, mais en attendant la fin de toute cette procédure je souhaiterais savoir quel recours j'ai et si je suis dans l'obligation d'accepter ses conditions?
Merci pour votre réponse.
Cordialement.
Olivier Bournier.