Garde enfant de trois ans

Bonjour,
je suis actuellement séparée de mon ex conjoint depuis deux ans, j ai obtenu la résidence de mon fils chez moi e son papa voit son fils un week end sur deux et la moitié des vacances scolaires. j ai rencontré quelqu un qui doit etre muté à 800 km ai je le droit de partir?
peut on me retirer la garde de mon fils?
Merci d avance pour vos réponses.