La mère de ma fille veut partir à Mayotte

Bonjour, je suis séparé de la mère de' ma fille de 4 ans depuis un an. Nous sommes en bons termes, habitons le même village, et du coup notre fille garde ses repères (école, amis, etc). Nous ne sommes pas passés devant un juge, je verse à mon ancienne compagne 150€ par mois, plus le partage à moitié de tous les frais scolaires. J'ai ma fille généralement 2 jours par semaine, bref tout se passe très bien. Depuis 6 mois, mon ex compagne a un nouvel ami, qui est prof à Mayotte. Elle m'a fait part dernièrement de son projet de le rejoindre avec notre fille ; ce qui voudrait dire que je n'aurais ma fille que 2 ou 3 fois par an, vu l'éloignement géographique et les rythmes scolaires différents. J'ai beau résonner mon ex, de retarder l'exotisme à un âge où notre fille pourra s'exprimer, elle reste sur son projet que j'estime fou.
Il est clair que je demanderais un passage devant le JAF pour obtenir la garde de ma fille, mais suis convaincu du besoin de notre fille de la proximité de ses deux parents.
Ma question est : a-t-elle le droit de m'imposer un tel éloignement de ma fille?