Garde d'enfant, déplacement professionnel

Bonjour, je suis divorcée depuis 3 ans, j'ai 3 enfants avec mon ex mari.L'ainé à 19 ans et vient de faire le choix de retourner vivre chez son père, mon deuxième à 16 ans et à fait le choix avec sa soeur ( qui est ma cadette) de vivre avec moi et mon conjoint. En effet j'ai refait ma vie depuis 2 ans et mes enfants vivent avec nous.Ce qui à ce jour ne gênait en aucun cas mon ex mari qui vient lui aussi de refaire sa vie. Nous avons statué sur une garde à l'amiable dès le départ du divorce. Lui avait la garde des garçons une semaine sur deux et moi je gardais notre fille qui préférait vivre à la maison, par contre, elle va un weekend sur deux chez son papa. Mes fils sauf qui vont le voir quand ils le désire, ce qui convenait très bien à mon ex mari. Je précise que mon ex mari n'est pas un homme facile et pour éviter tout conflits, j'ai cédé sur pas mal de choses : dont le refus de pension alimentaire pour les enfants, alors qu'il gagne bien sa vie etc...( jai signé mais sous l'influence de médicament, car grave dépression au moment du divorce et sous menace !!) bref...
nous vivons à 7 km de l'un et l'autre. Mais je viens de décrocher un poste à 150km de la maison, donc je partirais du dimanche soir au vendredi soir suivant ( jai louer un studio), laissant mes deux enfants à mon conjoint !! tout ceci n'est que momentané, car moi et mon conjoint voulos partir vivre dans ce nouveau département d'ici un an; donc pendant un an je ferais ce trajet tous les weekend pour etre avec mon conjoint et mes enfants. Mais voilà que mon ex mari, s'y oppose fermement, il dit qu'il veut me coller un avocat aux fesses, allez chez les flics !!! car il ne veut pas que les enfants restent avec mon conjoint pendant mon absence de la semaine !! En à t-il le droit ??? mes enfants préfèrent vivre chez moi et mon conjoint plutôt que de retourner vivre chez leur père. Que dois je faire ??????????????