Problème avec mon fils de 17 ans

Bonjour,

Je suis en instance de divorce et séparé depuis 3 ans.
Je suis avec une nouvelle compagne depuis plus d'un an.
j'ai 4 enfants de 10, 14 17 et 18 tous de mon ex femme.
Suite à une ordonnance de non conciliation, je vois mes enfants 1 we sur 2 et la moitié des vacances scolaires.
Mon problème est que mon fils de 17 ans est insuportable avec moi car il est terriblement jaloux de ma nouvelle compagne et de sa fille de 9 ans.
Je lui ai dit que je ne voulais plus le prendre tant que son comportement restera comme celà . (violance verbale, insulte,cris etc..)
ai je le droit de ne prendre que 3 de mes enfants? Au moins pour marquer le coup.
Mon ex femme peut elle s'y opposer et m'empêcher devoir les autres.

Merci.