Quels sont mes droits de père?

bonjour,
Je suis séparé de mon ex-compagne depuis septembre 2009 (nous étions en union libre) et nous avons un petit garçon de 3 ans. Nous habitons dans la même ville.
Nous avons fait appel à une médiatrice et sommes convenus d'un mode de résidence devant le JAF (requête conjointe) qui se définit comme suit:
Résidence principale chez la mère.
Mercredi jusqu'au jeudi chez le père
Un repas par semaine avec le père
Un week-end sur 2 chez le père (du samedi 9h15 jusqu'au dimanche 18H30).
Or, sans me prévenir, mon ex a postulé a 120km de notre lieu de résidence actuelle et faisait tout depuis janvier pour réduire l'accueil de mon fils chez son papa, tout en mettant dans la balance un prolongement des week-ends chez moi jusqu'au lundi matin...
Ceci avait pour but de "préparer" un mode de résidence adaptable à une situation de déménagement.
Je dois préciser que ces demandes ont été faites moins de 15 jours après notre audience auprès du JAF!
Mon ex a utilisé des arguments "fallacieux" pour argumenter sur une modification du mode de résidence en parlant de l'intérêt de notre fils qui serait perturbé par l'actuelle organisation (de fait, son temps de travail étant passé d'un mi-temps à un temps plein, elle voit surtout moins son fils et lui la voit moins...).

Si le déménagement est effectif, je ne verrais plus mon fils qu'une fois tous les 15 jours alors que je me suis toujours impliqué auprès de lui (congé paternité, modification de mon temps de travail pour m'occuper de lui 2 jours par semaine au cours de la première année, demande de le voir le plus souvent possible) et puis, plus simplement, je me dis que je n'ai pas attendu d'avoir un enfant à 38 ans pour ne plus le voir, qu'il ne me voit pratiquement plus, que je ne puisse plus exercer mes devoirs de père.
Je trouve cette situation extrêmement violente, d'autant que mon ex compagne parle de se rapprocher de sa famille et qu'il me semble que notre fils a plus besoin de son père que de sa grand mère ou de ses oncles et tantes maternels.
Je ne veux pas empêcher que mon ex puisse partir, je voudrais juste qu'on tienne compte de l'intérêt de mon fils et qu'on entende mon désir d'être un vrai papa pour mon fils.

Pourquoi l'intérêt personnel d'un des deux parents devrait induire cette cassure du lien parental avec les deux parents?

Que puis-je faire? Merci de m'aider avec vos conseils et vos témoignages.

P.S: Des collègues de travail m'ont conseillé de demander une garde alternée qui viendrait "baliser" cette situation mais je suis contre par rapport à l'âge de mon fils et ce serait une demande purement stratégique pour "éviter" que mon ex-compagne puisse partir, ce que je trouve "malsain".
Merci