Contrat de travail

Bonjour,
je suis gardien d'immeuble,j'ai un contrat de travail qui stipule que je dois assurer une permanence au bureau attenant à mon logement.
aujourd'hui mon entreprise veut faire un bureau commun avec trois gardiens, ce bureau ne sera plus attenant à mon logement.
je vais donc devoir signer un avenant à mon contrat.
si je ne veux pas signer l'avenant ni aller dans le bureau, que peut il m'arriver?
merci de votre réponse.
jacques