Refus de mutation

Bonjour,
Je viens vers vous car j'ai un petit soucis avec mon employeur.
Je suis agent de sécurité pour une entreprise privée. Avant mes congés, mon employeur m'a adressé un planning avec un nouveau lieu de travail (mutation) dû à un changement avec celui où je suis affecté actuellement. Dans ce courrier, il m'a demandé de lui donner une réponse concernant cette proposition, ce que j'ai fait en la refusant car ma situation et contrainte personnelle ne me permettent pas de m'éloigner. Aujourd'hui, je reçois un courrier de leur part me précisant que je ne peux refuser cette mutation car mon contrat de travail prévoit que je peux être sur tous les sites de la société et que si je refuse ce sera un licenciement fautif.
Je voulais savoir quels sont mes droits si je refuse?
Merci de vos réponses