Séparation (non marié) avec bébé 7 mois

Bonjour,
Après 6 ans de relation avec le père de ma fille, celui ci à décidé d'aller vivre une aventure avec sa responsable. Il est donc parti du foyer, me laissant avec notre bébé d'un mois. Aujourd'hui, elle a 7 mois et on essaye de faire comme on peut. Je peux désormais saisir le juge des enfants (nous avions pas reçu le livret de famille etc) et j'hésite vraiment a le saisir séparément ou non.
On est d'accord sur presque tout. Il gagne 2500€ et me donne 250€ par mois de pension. Il veut qu'elle habite chez moi, ce qui me va.
Il la veut un dimanche sur deux. La où ça coince, c'est qu'il la veut un jour dans la semaine aussi. Et il n'a ses horaires de travail que la semaine passée pour la suivante et aucun jour fixe. Du coup, je sais le samedi qu'il me l'a prend le mardi suivant! Pour m'organiser c'est pas facile, je travaille (12h20h le mardi par exemple, et la veut 12h30/18h, donc je fais déplacer la nounou pour 1h le matin et 2h le soir.) il ne veut pas comprendre que je ne peux pas la faire venir pour rien comme ça, et ne veut pas demander un jour de congé fixe. Il me dit qu'il n'est pas à mon service comme ça, que j'ai a qu'à m'arranger. Mais c'est lui qui est parti, ce n'est pas à moi de m'adapter encore...
Je ne sais pas si ça vaut le coup de saisir séparément le juge pour "juste" ça, ou si au contraire, je suis bien assez gentille et qu'il faut qu'il arrête d'abuser.
A côté de ça, je lui donne tout pour sa fille. Les biberons, le lait, les jouets, les habits etc je lui donne avec tout. Il a juste un parc chez lui, pas de chaise haute ni de poussette ou de siège auto.
Enfin, le plus important, ma fille est encore jeune, mais elle va bien demander pourquoi une fois, elle va chez son père, une fois non etc ne serait ce pas mieux pour elle un jour régulier, pour lui imposer un cadre dans une situation déjà assez difficile comme ça?
Si vous êtes passées par la, si vous avez des conseils, je veux bien en discuter, faire le point et pouvoir être sûre de prendre la bonne décision pour nous 3. Merci