Demenagement à 600km et droit de garde

Bonjour,
Je vais essayer d'etre la plus claire possible dans ma question.
J'ai eu un petit garçon d'une première union (sans mariage) un jugement à étais rendu après séparation et mon ex à le droit de le voir le 1er 3eme et 5eme week end ainsi que le 2eme et 4eme mercredi, mais à chaque fois mon petit bonhomme pleure et se met dans des états pas possible et inimaginable (crise de nerfs jusqu'a la suffocation,...) quand il sait qu'il doit partir avec lui, (mes voisins peuvent le témoigner), j'ai voulu l'enmener auprès d'un psy mais il ne parle pas et ne veux plus y retourné - je vous promet que pourtant nous fesons tout notre possible pour qu'il apprécie son père- lui meme c'est remis avec une jeune femme (que mon fils deteste) et a eu une fille cette jeune femme qui elle a eu un premier garcon d'une premiere union. depuis je me suis remise avec un gentil homme (ceci fais maintenant 3 ans que nous vivons ensemble et mon petit garçon le prend comme son papa d'ailleur dès qu'il part en week end avec son véritable père il réclame mon homme et hurle "maman, papa, je ne veux pas partir" vous n'imaginer meme pas comme nous souffrons mais l'autre ne fais aucun effort) Bref mon nouveau concubin m'a demandé de le suivre car il a l'opportunité de descendre dans le sud (travail + logement) moi même là ou nous habitons actuellement j'ai un travail en CDI mais pour le moment en congé parentale car j'ai eu la chance d'avoir une petite fille de mon ami.
J'ai peur de partir (quitter mon CDI- car je n'aurais plus d'emploi- en tout cas en attendant d'en retrouver un dans le sud je resterais en congé parental puisqu'il me reste 2 ans) m'éloigner du père de mon petit lou et de suivre mon chéri car je ne sais pas comment sa va se passer pour la garde de matéo! Est ce que je peux partir sans crainte? Comment sa va se passer? Qu'est ce que vous me conseillé? que dois je faire?
Merci d'avance pour l'attention que vous porterais à notre détresse.
Lola