Refus accès à l'entreprise

Bonjour,
Voilà j'explique le problème :
-je travaillais en grande distribution dans un supermarché,et en complément de salaire je travaillais aussi pour un fournisseur 1h par semaine pour mettre en rayon et arranger le rayon dans le même magasin.
-j'ai mis fin à mon contrat de travail "principal" et mon ancien employeur refuse que je continu mon contrat avec le fournisseur.

A t il le droit de m interdire à continuer ma deuxième activité dans son magasin sachant que j'ai un contrat en bonne et du forme avec le fournisseur ? Peut il me refuser l'entrée du magasin ?