Garde parentale suite mutation

Bonjour,
séparée depuis 2 ans du papa de mon fils, nous avions convenu à l'amiable que j'aurais la garde car avec des horaires de travail à commencer à 5h du matin il ne pouvait gérer notre fils...et lui voulant verser un pension donc aurait les droits de visistes ! nous étions passé devant le JAF à l'amiable et le jugement rendu était autorité parentale conjointe, garde revient à la maman et droits de visite du père les 2e et 4e we du mois + moitié des vacances scolaires, le papa étant tenu de venir chercher et ramener son fils. Or depuis nous nous organisons selon la disponibilité du papa car il travaille aussi 1 week end sur 3, on fait tout à l'amiable mais je fais qd même beaucoup de concessions. en général il le prend le vendredi soir à l'école et je vais moi même le chercher le dimanche soir engénéral chez lui....bref rien comme il est indiqué puisque nous nous arrangeons...aussi Le mardi soir et mercredi mon fils était gardé par sa gd mère maternelle et depuis début 2009 nous avons organisé une alternance d'une semaine sur 2 avec les gds parents paternel...là où ça se complique c'est que mon actuel compagnon vit à 300km d'ici, j'ai la possibilité d'avoir une mutation professionnelle qui me permettrait de me rapprocher de lui...le papa m'a menacé de saisir le JAF pour demander la garde de mon fils si je m'en allais...j'aurais aimé pour ma part étant donné toutes les concessions faites m'arranger avec lui et réduire les we de visite à 1 we par mois sur lequel je m'engagerais même à faire la route à mes propres frais pour lui emmener son fils + qu'il l'ait un peu plus pendant les vacances....quels sont mes droits quant à m'éloigner avec mon fils ? et qu'est ce qui pourrait faire que l'on me retire la garde de mon fils ? là bas je me retrouverais seule avec lui dans mon propre appartement car dans l'immédiat il nous est impossible matériellement ,et pychologiquement pour mon fils de vivre ensemble avec mon compagnon ..alors est ce que le fait qu'il serait éloigné de la famille ou changerais d'environnement pourrait faire pencher la balance ?à l'avance merci de votre aide...