Heure de débauche...

Bonjour,
Derrière ce titre un peu flou, se cache une petite question.
J'explique: Vendredi soir, au moment de débaucher à 17 heures, je me dirige vers la pointeuse de mon boulot, et l'un des chefs d'équipe me donne une tâche à faire.
J'ai réfusé en disant qu'il était l'heure de la débauche, et je suis parti.

Aujourd'hui, un responsable m'a dit que la prochaine fois que ça se passait, j'aurais un avertissement.

Est ce qu'ils ont le droit ?
Je tiens à préciser, que si je reste 10 minutes de plus ou même 30, je ne serais pas payé pour ce temps en plus, voilà pourquoi j'ai refusé et que je suis parti, vu que je suis payé jusqu'à 17 heures, je me voyais pas dans l'obligation de rester.
Je précise aussi que ce que le chef d'équipe m'a demandé ne faisait pas parti de mon travail habituellement. Mon poste était rangé, nettoyé.

Merci de m'aider, car je sais pas comment rechercher des réponses sur internet à une telle question...