Pas d'avenant ni lettre de mission

Bonjour,
Je suis peintre en batiment embauché depuis 5 ans dans une entreprise de peinture générale, il y a un an mon employeur m'a proposé un poste de conducteur de travaux, que j'ai accepte (sans modification de mon contrat de travail, ni lettre de mission ,sur mon bulletin de salaire je suis toujour peintre).
Aujourd'hui il m'annonce que je retourne sur les chantiers demain.
Ma question est de savoir quels sont mes droits, ai je le droit de refuser de retourner sur les chantier ? quels sont les risques si je refuse? vers qui puis je me renseigner, inspection du travail (je ne pense pas qu'elle soit compétente pour les litiges sur les contrats de travail) ou bien les prud'hommes;