Mettre fin à un avenant

Bonjour,

Je suis en situation de télétravail. C'est un avenant à mon contrat de travail initial, ce n'était pas prévu au départ. 2 ans après avoir vécu cette situation de télétravail j'aimerais y mettre fin. Je sais que cela se fait par un commun accord avec mon employeur mais si il refuse que se passe-t-il ? Que peut-il faire ?

Merci de me répondre si vous savez !