Desaccord sur les droits de visite

Bonjour,
je suis maman d un petit garcon de 9 ans et nous sommes separés le papa et moi depuis 7 ans .Nous avons un jugement mais nous nous sommes toujours arrangés a l amiable sur les week end (soit un w.e sur deux) , de meme pour les vacances car mon fils est actuellement en etablissement specialisé donc il n a pas les memes vacances q un enfant scolarisé ;( lors du jugement il navait que deux ans et nous ne connaissions pas encore son orientation) . depuis quelques mois nous sommes en conflit , le papa souhaite reprendre les w.e comme sur le jugement soit 1er 3eme 5 eme w.e du mois ; nous avons chacun refait notre vie depuis quatre ans environs et mon ami a un enfant avec un droit de visite et hebergement un w.e sur deux si nous faisons comme sur le jugement cela nous décale les week end des enfants. Qu est ce que je risque en m opposant au jugement sans m opposer a 1 w.e sur 2 ? Le papa reste sur ses positions et la communication est tres compliqué.