Travail effectif et temps de transport, siège social - chantier

Bonjour,
Mon contrat de travail indique que seul le temps de travail effectif est considéré comme un temps de travail à l'exclusion du temps de déplacement (je dépends de la convention collective des entreprises du commerce Jo n°3131).
Mon employeur me demande de me rendre au siège sociale de l'entreprise pour récupérer un véhicule de service avec du matériel et de me rendre sur le lieu du chantier (3h de trajet aller retour) pour effectuer une tâche. A mon retour au siège il m'indique que je dois encore effectuer une de travail à l'entrepôt car il ne tient pas compte du temps de déplacement et que ma tâche sur le lieu de chantier à durer 6h.
Est-il dans son droit?
Je vous remercie par avance de vos réponses