Garde d'enfants

Bonjour,
Je suis maman de deux petites filles qui ont 16 ans et 10 ans.
Ma fille de 16 ans habite avec ma mère pour suivre ces études.
Ma fille de 10 ans est partie avec son père dont je suis divorcée en vacance voir sa soeur et depuis 3 jours ma fille de 10 ans me dit qu'elle veut rester chez ma mère avec sa soeur.
J'ai dis non et j'ai aussi dit à mon ex mari de me ramener ma petite fille sachant que le billet d'avion est payé pour l'aller-retour.
Ma mère me dit qu'elle peut prendre en charge aussi ma fille de 10 ans afin que je puisse accélérer sur ma recherche d'emploi et que ma petite fille viendra en juillet pour revivre avec moi.
Moi ce qui me fais peur c'est mon ex mari qui ne veut pas verser de pension alimentaire demande la garde de mes enfants pour abandon tout en sachant que ce n'est rien d'un abandon. Je trouve bizarre que mon ex mari insiste autant pour laisser ma petite fille là-bas.
est ce que je pourrais perdre la garde de mes filles si elles n'habitent pas avec moi pendant six mois?