Travail en semaine plus le dimanche

voila je suis face a un dilemme,je travail 39h en CDI la semaine en transport VL je fait de la pharmacie, de la banque (uniquement des papiers et non de l'argent) et le samedi matin de la livraison colis pour les particuliers (avant 13h) et pour me faire un complément de salaire je travail le dimanche matin de 4h30 a 8h en livraison de presse (fourneaux quotidien etc ...) déclaré et légal, il se trouve que mon patron de la semaine veut m’interdire de faire ce job d’appoint le dimanche me disant que c'est illégal ... il met en avant les heures et une soit disant journée de repos ... et aussi une concurrence de sont entreprise hors je ne fait rien de ce que je fait la semaine c'est juste quelques quotidiens livrés dans des caisses devant les boulangeries et les tabacs es-ce que j'ai le droits de faire ces deux emplois ??? es ce que je suis dans l'illégalité??? cela me fait 43h30 par semaine tout cumulé...