Refus changement d'horaire

Bonjour,

je suis salarié dans une grande enseigne de commerce,depuis 2004.

Mon contrat stipule "base hebdomadaire de 35 h de travail effectif.Cette durée hebdomadaire du travail peut varier dans le cadre des dispositions relatives a la modulation du temps de travail., telle que définie ....".
Je commençe à 4h30 et finis a 11h30 , on devait également faire une journée de 5h00 à 11h00 puis 13h a 16h00.
Celà me convenait comme horaires ma femme devant reprendre une formation.

Le problème est qu'il y a des changements d'horaires, tout le monde commencera à 5H00,et finira à 11h00 on fera deux journées complètes.Avec ces horaires on j'aurai une perte de 20 euros par mois.(heure de nuit) salaire mensuel
On aura la possibilité si on le désire de travailler 6 jours sur sep.
Mais une personne sera désigné pour travailler les apres midi,j 'ai été désigné.
horaires
lundi 7h11h 13h30 19h00
mardi 15h21h
mercredi 13h30 19h
jeudi repos
vendredi7h11h 13h30 19h00
samedi 14h35 21h
Le probleme c'est que je refuse de faire ces horaires, qui risque d'etre permanent, pour ma part j'estime que je n'y gagnerais rien en salaire et que je n'aurais plus de vie familiale on a 3 enfants (2ans et demi 4 et 7 ans ) et on aura des problemes pour aller les chercher a l'école.
Suis je en droit de les refuser, est ce un motif de licenciement?.
Le CE consulté a signé l'accord mais des salariés sont mitigés.
Merci de votre réponse.