Fin de poste anticipée

Bonjour,
Lors de ma prise de poste, j'avais contractualisé avec mon employeur une tenue de poste sur une durée déterminée. Aujourd'hui, mon employeur tente de me faire quitter ce poste prématurément (2 ans avant l'échéance), sans perspective de carrière construite, avec une mobilité géographique qui plus est et sans promotion.
La durée du poste avait été formalisée lors de l'entretien de prise de poste, au travers d'une fiche de poste, qui a été reprise durant les entretiens annuels qui ont suivis, sans jamais être dénoncée.

J'ai par ailleurs été informé très tradivement de la chose (en septembre) pour un mouvement que mon employeur souhaite avant la fin d'année !

Suis-je en capacité de refuser ? Puis-je faire valoir la fiche de poste et les entretiens annuels comme faisant partie d'un "contrat" de travail (que je n'ai pas par ailleurs, puisque cela ne "se faisait pas" lorsque j'ai été embauché) ?

merci de vos réponses.