Pourrai je perdre la garde de mon enfants?

Bonjour.je suis separe depuis matenaint 3ans a quelqu un que j etait marie.
J ai gagne la garde de mon fils.son pere la qu un week end sur deux et moitie des vacances.
Aujourd hui j habite pas tres loin du pere a mon fils mais dans pas longtemps j aurai plus de travaille dans mon village et je souhaite demenage a 200 km d ou j habite actuellement car j aurai la possibilite de trouve du travaille.le pere de mon fils c et sure il sera pas d accord!du coup je voulait savoir si par azar le papa decide de demande la garde complete de mon fils il pourra l avoir pour le simple fait que je demenage?je croit que je suis pas la seule a l avoir fait.et sa fait quand meme 3ans je eux recomence ma vie et donne une vie meilleur a mon fils.
Es ce que n importe comment le papa pourra me faire quelque chose pour que je puisse pas demenage ou pourrai perdre la garde de mon fils?
Merci.cordialement