Partir avec ma fille, quels droits?

Bonjour,
Je suis enseignante dans les DOM, j'ai une petite fille de 4 ans, et suis divorcée de son papa depuis 2 ans, je suis partie avec ma fille sous le bras après un épisode de violence verbale et physique (même s'il ne m'a pas vraiment touchée, j'ai subi des violences et du harcélement depuis le début de notre vie commune ; c'est un paranoïaque qui avait toujours l'impression que je le trompais, que les femmes le trouvaient irresistible, et qu'il était jalousé ou persécuté par tout un chacun) et lorsque je suis partie, à l'issue d'une nouvelle scène où il a failli nous tuer tous les deux en voiture (il me faisait peur en accélérant, en m'insultant, il a brisé la vitre de la voiture avec son poing), j'ai déménagé chez ma mère, avec ma fille, sur les conseils de mon avocat, après avoir déposé une main courante pour violences physiques et verbales. La présence de notre fille ne l'empêchait pas de se livrer à ses accusations et à ses insultes, ma fille qui n'avait pas deux ans répétait sans les comprendre les insultes de son père. Après notre séparation, il m'a tour à tour suppliée et menacée (il hurlait au téléphone que si je ne revenais pas, il m'enverrait des hommes pour "s'occuper de moi de toutes les façons possibles").
Quelques mois plus tard, il m'annoncait qu'il allait de nouveau être papa, pour la troisième fois (il avait déjà un fils plus âgé avec une autre femme), et donc, il a en tout maintenant trois enfants avec trois femmes différentes. J'ai demandé la garde de ma fille, nous avons tous les deux l'autorité parentale, bien sûr. Il l'a donc prise régulièrement (plus ou moins, car, voulant arranger les choses et être le moins possible en confrontation avec lui, je lui cède assez facilement ma fille les week-ends qu'il préfère, jusqu'à présent). Il l'a donc un week-end sur deux et la moitié des vacances scolaires (mais il ne la prend que 15 jours au maximum). Je suis dernièrement partie en voyage 10 jours avec mon ami (celà faisait 5 ans que je n'avais pas quitté l'ïle), et je lui ai donné les dates en avance pour qu'il puisse avoir notre fille pendant ce temps. J'ai appelé au bout de 5 jours pour avoir des nouvelles, il ne m'a jamais répondu, je n'ai pas pu parler à ma fille. A mon retour, il était prévu que je récupère ma fille, mais il n'a pas répondu au téléphone et était absent de son domicile. J'ai appelé sa mère (qui est très peu disposée envers moi, mais j'avais masqué mon numéro), et elle m'a annoncé son intention de garder notre fille jusqu'à la fin des vacances. Je n'ai pas eu d'autres choix que de me plier une nouvelle fois à ses exigences.
Les week-ends où il doit récupérer notre fille se passe à peu près de la même façon ; il doit le récupérer à 14 heures, mais arrive toujours avec trois ou quatre heures de retard. Moi, pour n'avoir pas à nous faire attendre, ma fille, mon ami et mi même, nous la déposons souvent à son domicile, sur la demande du papa, mais souvent, il y a encore un temps d'attente. Je sais qu'il tire un malin plaisir à se livrer à ce petit jeu, d'autant que d'après les enfants, il rerste rarement avec eux, il sort souvent, et les laisse aux bons soins de sa mère, ou plutôt à ceux de la console de jeux vidéos, devant laquelle ils passent le plus clair de leur temps. Ma fille me déclare vouloir habiter avec son père parce qu'il lui a promis (à 4 ans et demie!) de lui acheter une PSP que moi je lui refuse.
J'ai l'opportunité, avec mon ami, d'aller travailler à l'étranger, dans l'enseignement, et je voudrai emmener ma fille, bien sûr. Je voulais savoir les chances que j'ai de pouvoir garder ma fille avec moi, puisque c'est moi qui part, c'est moi qui prend l'initiative de l'éloigner de son père. Je n'ai pas encore vu le JAF, j'ai peur de ce qu'il pourrait se passer. Je ne souhaite pas éloigner volontairement ma flle de son père, je suis même prête à payer un billet d'avion une fois par an pour qu'elle puisse être avec lui pendant les grandes vacances. Quelles seraient mes chances si j'allais voir le JAF avec de tels arguments? Et s'il demande la garde de ma fille, est-ce qu'il risque de l'obtenir?
J'ai ce projet de partir depuis quelques temps, et j'ai du mal à me dire que ce projet de vie, qui serait une formidable opportunité pour ma fille et moi, pourrait se trouver contré par un père qui n'a pas toujours été très droit en tant que père. Il nous arrive tous de faire des erreurs, bien sûr, et je sais que beaucoup de pères seraient révoltés par ma demande, mais je pense que si ce sont de bons pères, il vont se mettre à ma place en tant que parent. Je ne veux pas que ma fille subisse l'influence d'un père comme le sien, et je suis prête à renoncer à mon projet pour qu'il n'ai aucune chance d'en avoir la garde (bien que je pense que ce qu'il clame haut et fort soit plus une fanfaronnade qu'un réel désir, il a une nouvelle famille, dont je ne souhaite pas éloigner ma fille, au contraire). mais je sais que l'annonce de ce projet risquerait de le pousser à en demander la garde. Que faire?