Leur pere part en week end quand ils a mes enfants en garde

Bonjour,
Je suis un peu perdue. Je suis divorcée, mes deux enfants sont en garde alternée, deux semaines chez l'un deux semaines chez l'autre. Mes enfants ont 18 et 16 ans.
Mon ex mari part en week-end assez souvent lorqu'il a les enfants. Du coup ne voulant pas les laisser seuls je les prends à la maison, à leur demande car ils n'ont pas envie non plus d'etre seuls puisqu'ils sont déjà seuls les semaines ou mon ex mari rentre à 22h30. Cela me pose problème quant à mon organisation dans ma nouvelle vie de couple. Il a la facheuse habitude de passer par mes enfants pour faire passer la pilule bien sur....je ne sais pas quoi faire afin qu'il respect ses week ends, bien sur je ne peux pas l'obliger à être chez lui quand il en a décidé autrement....