Fonction et obligations

Bonjour,

Je suis salarié depuis de nombreuses années dans un négoce matériaux du bâtiment. Ma fonction est vendeur magasinier expert. J'ai le permis poids lourds et , une ou deux fois par an , mon responsable me demandais d'effectuer des livraisons , en remplacement du chauffeur livreur. Ce qui n'est pas ma fonction initial. Je l'ai toujours fait, sans trop me poser de question. Aujourd'hui , les conditions de travail sont devenus très difficile , et je ne souhaite plus faire ces remplacement. Mon employeur , peut il m'y obligé, sous prétexte que je le faisais avant et que j'ai le permis.
Merci de me lire, et de votre réponse.