Garde d'enfant exclusive pour le Papa

Bonjour à tous,

Séparé de ma compagne depuis le mois d'aout 2016 avec laquelle je vivais en concubinage et avec qui j'ai eu un enfant, je souhaite savoir ce que je risque à maintenir cette situation de "garde amiable exclusive" dans l'état actuel des choses?
En effet, je suis parti avec ma petite fille de 6 mois á l'époque. Depuis je l'assume seul. Malgré mes tentatives pour que la maman voit sa fille, je me retrouve dans une situation ou cette personne n'a pas la capacité de s'occuper de notre fille comme il se doit ayant 5 autres enfants à charge entre 3 et 10 ans. Notez que la maman a refusé à plusieurs reprises de prendre la petite (alors que je tentai d'organiser une convention de garde alternée) en invoquant des prétextes organisationnels tels que: pas de véhicule, manque de temps, difficulté pour la mise à l'école des autres enfants, rendez-vous professionnels, etc...
Des évènements se sont produis lorsque je lui ai confié notre fille, comme: laissé toute seule la petite dans son lit, dans son appartement, porte non fermé à clé lorsqu'elle emmenait les autres enfants à l'école pendant 40 mn.
Depuis je suis réticent à lui confier, c'est vrai et nos relations se sont dégradées avec la maman, car elle m'accuse de la priver de sa fille et j'ai l'impression que la situation se retourne contre moi. J'ai forcément ma part de responsabilité et je l'assume. Mais Elle me menace régulièrement de mettre en place une action juridique qui me privera de ma fille, avec qui j'ai forcément développé un fort lien d'attachement ( alors qu'elle n'a tenté aucune action depuis le mois d'aout pensant que je reviendrai).Comment puis me sortir de cette situation tout en préservant l'intérêt de ma fille, le cadre stable dans lequel elle évolue aujourd'hui avec son père, malgré cette situation compliqué et le fait que un enfant de cet âge a besoin aussi de sa Maman? La garde "exclusive" est elle forcément accordée à la mère en France?

Merci beaucoup