Garde d'enfant

Bonjour,
Je souhaite me séparer de mon ami (ni marié, ni déclaré en concubinage). Nous avons un enfant en bas âge né en France. Nous vivons actuellement à Québec (Canada) et nous avons un statut d'expatrié (tous les deux de nationalité française). Je souhaite savoir à quel droit nous sommes soumis ?
Je souhaite quitter temporairement mon ami pour aller voir ma mère malade en France et dans le même temps faire un break. Je rentrerais quelques semaines après. Ce départ peut-il être invoqué par mon ami pour me retirer la garde ? Est-ce un risque ?
Le fait que je ne travaille pas pour l'instant, a-t-il une influence ?

Je vous remercie pour vos réponses.