Garde enfant / Côte d'Ivoire

Bonjour,
Je suis majeur mais sans emploi. Je vis chez ma mère avec mes enfants. J'ai eu 2 enfants d'une union libre. Se plaignant de ne pouvoir voir ses petites filles quand il veut, le grand père ( le père du père de mes filles) veut intenter une action contre moi pour m'enlever la garde de la plus grande (3ans et demi). Je veux savoir s'il a le droit de faire ça? Est ce que parce que je suis sans emploi pour le moment là loi peut m'enlever ma fille? Est ce que la loi permet que des enfants d'un même père soient séparés ?