Refus de travail sous la responsabilité d'un manager

Bonjour,
ça fait 5 ans que je travaille dans une société, on a 3 pôles au sein de cette dernière et moi je travaille avec le pole X par exemple et un jour suite à la demission d'un employé du pole Y on me fait sortir de mon projet pour des raisons de déstafage (diminution de l'effectif) pour le remplacer sachant que j'avais des problèmes avec le manager du pole X (il est du genre incorrecte, profiteur des efforts des autres et massacreur lors des entretiens annuels avec des arguments bidons) alors j'ai refusé de travailler sur ce projet et sous la responsabilité de ce manager. depuis mon refus chaque jour l'un de mes supérieurs N+i demande a me voir pour en discuter et je commence a sentir de la pression et du stress vue que je suis en attente d'affectation, et pour eux c'est une situation qui leurs dérange et on me fait sentir que cette situation de refus de faire ce travail ça va engendrer d'autre choses. je leurs dit que je refuse pas de travailler mais je refuse de collaborer avec ce manager avec le quel j'ai eu de mauvaises expériences.
est ce que j'ai le droit d'avoir ce choix, est ce qu'il ont le droit de considérer mon choix comme motif de licenciement ? je pouvais accepter le travail et ne pas le faire comme il le faut et faire couler le projet, mais non je ne suis pas du genre, je suis quelqu'un de correcte et j'ai expliquer la situation comme elle est, alors donner moi vos avis et qu'est que je peux faire dans cette situation.

Merci.

Cordialement