Avenant au contrat

Bonjour,

Je viens de reprendre mon activité après quelques mois d'arrêt maladie et mon employeur me demande de signer un avenant à mon contrat me changeant mes horaires et jour de travail ! Ceux-ci ne me conviennent pas et je lui ai précisé oralement il m'a dit que je prendrais mes responsabilités! Quels sont les risques encourus par mon refus ?

Cordialement