Délai de rétractation avenant au contrat de travail

Bonjour,

Mon employeur, fonction publique hospitalière, m'a proposé un avenant à mon contrat de travail car il y avait quelques difficultés avec ma responsable de service. Je dépends du service qualité et on m'a proposé un poste au ressources humaines. Comme dans tout avenant si on le refuse on est licencié. J'ai donc accepté le nouveau poste et cela fera deux semaines le vendredi 05 mai. Ma question est la suivante : est-ce que je peux me rétracter pour refuser ce poste et du coup annuler l'avenant que je viens de signer car finalement, avec le recul, ce poste n'est pas du tout le même que le mien et je n'ai pas envie de travailler dans les ressources humaines alors que j'ai toujours travaillé dans la qualité et la gestion des risques.

Merci pour vos réponses