Quitter un département malgré jugement

Bonjour,
Je suis séparée du papa depuis 2 ans il y a eu deux jugements concernant la garde de notre fils,suite à la décision du JAF nous sommes passé devant une médiation(injonction) qui s'est très mal passée.En effet j'ai la garde de notre enfant et quand j'ai évoqué le fait que j'allais retourner auprès de miens du fait que je vie dans une ville qui n 'est pas la mienne et que j' ai quittée pour suivre le papa,et qui puis est,c'est la papa qui m'a trompé ,humilié,rabaissé et quitter alors que notre enfant n'avais que 16 mois.Aujourd'hui il s'y oppose et la médiatrice me fait savoir que si je quitte le département avec mon enfant (que ça soit: professionnel ou autres...) je risque de perdre la garde de mon enfant ,car la ou le juge pourrait penser que je veux enlever l'enfant de son papa.Est ce possible ? et que dois je faire?
Merci par avance