Conflit vacances en garde alternée

Bonjour,
mon compagnon a décidé de partir il y a un peu plus de deux ans maintenant et nous avons convenu à l'amiable du système de garde alternée suivant (système entériné par un jugement) :
* une semaine sur deux pendant la période scolaire (de façon à ce que Noel alterne aussi d'une année sur l'autre entre les deux)
* un mois d'été sur deux pour juillet et août, avec alternance d'une année sur l'autre ...
De son côté, il a retrouvé rapidement une copine qui a des enfants dont une de l'âge de ma fille. Mes enfants ont 10 (mon fils) et 14 ans (ma fille). Les règles de vie ne sont clairement pas les mêmes dans les deux camps (par exemple, je n'approuve pas que ma fille se maquille pour aller au collège) et je suis en conflit latent avec ma fille ce qui a engendré l'année passée un refus de venir un week-end, refus cautionné par son père sous mes fenêtres et qui a embarqué le fiston aussi (par contre, ça arrangeait leur père que je les prenne le mercredi puisqu'il travaille mais du coup j'ai dit non).
Cet été, j'ai juillet, lui août : il me demande de récupérer les enfants 2 jours plus tôt que prévu (le vendredi soir au lieu du dimanche soir) : j'ai dit non (ils ont passé 3 semaines dans le même camping à 2 h de la maison)
Entre temps, je me suis faite opérée d'un cancer de la thyroïde et suis dans l'attente des analyses complémentaires pour les suites à donner et notamment pour savoir si je dois faire une radiothérapie : ce traitement me bloquerait une semaine seulement et au vu du timing, je pourrais le faire passer sur la première semaine des vacances de la Toussaint, semaine où je n'ai pas les enfants.
Hier, juste avant de récupérer les enfants, je reçois un coup de fil de mon ex : "est-ce qu'on peut échanger les semaines à la Toussaint", sans plus d'explications ou de raisons. Je lui dis que je ne donnerai pas réponse avant d'avoir les résultats des analyses. Les enfants arrivent, pour une fois, chose que je ne fais jamais, j'essaye de voir s'ils en savent plus : ils vont en Italie, voir la plus grande des filles de la copine de mon ex, qui vient de s'installer là-bas.
Donc, si je refuse, me voilà encore en position de mégère aux yeux des enfants ; si j'accepte, et que mon traitement se fait (donc pas d'échange de vacances possible puisque pour limiter les arrêts de travail, je passe sur les vacances), je ne vois pas mes enfants des vacances ...
Quel recours juridique ai-je ? Qui pourrait bien expliquer les choses aux enfants pour que j'arrête de passer pour celle qui embête tout le monde ?