Visite médicale et temps de pause

J'ai passer ma visite medicale du travail en dehors de mon lieu de travail et pendant mes heures de travail, a mon retour un des responsables de mon lieu de travail ma refusé mon temps de pause d'une demi heure sous prétexte que j'ai eu la visite médicale. Est il dans son droit ? Ou avait je doit a ma pause habituelle ? Cordialement