Altercation avec le directeur en dehors de mes heures de travail

Bonjour,
je viens vers vous aujourd'hui car je viens d'avoir une altercation avec mon employeur, je vous fais un rapide historique de la situation.

Je tombe malade la semaine dernière, le médecin m'arrête quelques jours. Suite à une surinfection, il me prolonge mon arrêt initial.
Je travail en restauration rapide.
Aujourd'hui, mon lieu de travail se trouvant tout près de chez moi, et les aillant tenu au courant de cette prolongation d'arrêt hier au téléphone, je décide d'aller déposer mon arrêt en main propre, aillant quelques courses à faire dans les alentours.
Mais là, mon directeur me tombe dessus, me demandant si, je cite "J'ai pas mal au cul de venir", qu'il est hors de question que je commande, qu'on ne me servira pas, et quand bien même, que je n'aurai pas la réduction qui m'est dût (étant employé.)
Je lui demande donc de, toujours sous citation, "se détendre", lui expliquant que je suis en arrêt, pas à mon poste, et qu'il n'est pas en droit de me parler comme ça, et lui tourne le dos.
Il continue tout de même ses reflexions (il se trouvais derrière moi.), me disant qu'on ne prendrais pas ma commande, que "j'ai vraiment pas mal au cul d'osé venir au restaurant (pour déposer mon arrêt à la base, je le rappelle.)"

Craquage extrème, je le confesse, je l'ai invité à "Aller se faire en**ler".

Là il me suis jusqu'à dehors, m'ordonne de rester là, me disant que je l'ai insulté devant deux témoins (ses subordonnés directs), que ça va pas se passer comme ça, que quand je vais revenir de mon ârret, ça va être ma fête, qu'on aura une bonne discussion, et que de toute manière, "ça va te tomber dessus, y'a eu deux témoins."

Alors voilà, ma question est là suivante :
Etait-il déjà, pour commencer, en droit de refuser de me servir ?
Et aussi, est-ce que j'encours un quelconque danger, une sanction ? sachant que je suis en arrêt depuis quelques jours, et que je le suis toujours pendant encore quelques jours.

à la base, j'aurai bien imaginé que non, étant donné que je ne travaillais pas, et que donc je ne suis pas son subordonné à l'instant T.
Mais le fait qu'il insiste bien sur le fait qu'il y ai deux témoins me fait douter.

merci d'avance pour vos réponses, si réponses il y à.