Parent hors du territoire : qui assure la garde ?

Bonjour,
Je suis en instance de divorce et séparé depuis 2 ans. Initialement j'avais juste un droit de visite et d'hébergement une semaine sur deux qui a été transformé en garde alternée tellement madame refusait de l'appliquer correctement. Notre séparation et tous les conflits entre elle et moi trouvent leurs sources en la personne de sa mère (insultes, menaces, diffamations...) et voilà 2 ans que j'évite tout contact avec la famille de madame pour éviter que tous se retourne contre moi. Je précise que madame habite a côté de sa famille. Beaucoup de choses négatives sont dites à ma fille sur moi histoire de la monter contre moi. Je précise aussi que ma fille refuse systématiquement de retourner auprès de sa mère quand elle est avec moi a tel point qu'elle la répété à sa maîtresse. Je dispose aussi des vidéos où elle est en larmes pour ne pas y retourner...
Pour l'essentiel madame voyage pas mal et quand elle est hors du territoire elle laisse ma fille à sa mère pendant son absence et je ne suis pas du tout d'accord estimant que je n'ai pas à partager la garde de mon enfant avec cette dame. Je n'ai aucun contact avec cette dernière et je ne serais jamais informé de quoi que ce soit concernant ma fille et surtout qu'elle manipule cette dernière fille contre moi. Je tiens aussi à préciser que ma fille a une grande sœur avec qui on me refuse tout contact depuis notre séparation.
Après avoir jeté le décors, est-ce que la loi sera contre moi si je refuse de ramener ma fille auprès de sa grand mère en sachant que sa mère n'est pas sur le territoire et en estimant que je n'ai pas à partager la garder avec une tierce personne?
Pour la précision madame ne m'a pas informé de son voyage (et c'est son droit) ce qui fait que je n'ai aucune idée de la date de son retour.

Merci pour vos éclaircissements.