Mise en repos d'un collaborateur

Bonjour à tous,

voila je m'explique,

je suis chef d'entreprise depuis quelques années, et ai à mes cotés une équipe de 11 salariés.

Chacun se trouve en contrat CDI, 35h hebdo, avec calcul des heures RTT.

Mercredi après-midi, suite à une réunion de chantier pour mon second magasin, j'arrive dans mon premier magasin, et la je constate que je suis en sur effectif au regard du trafic client.

Après analyse des forces en présence, et des responsabilités de chacun, je demande à un de mes salariés de quitter l'entreprise plus tôt...sur les coups de 15H...
A savoir que je ne lui décompte pas de salaire, ne lui enlève pas ses jours de repos de la semaine...juste que je lui donne son après-midi, et récupération sur les heures RTT.

Concrètement, le salarié en question a refusé d être en repos, en me parlant très mal, en me disant que je n'en ai strictement aucun droit de le libérer ainsi...qu'il n'avait rien de prévu pour l'après midi si ce n'est être au travail...qu'être en repos, je cite "çà le fais chier"...

Bref, c'est un cas de figure que je n'avais jamais rencontré...L'inverse oui bien sur...si je souhaite faire venir un collaborateur alors qu'il est de repos est contraignant...

Suis je dans mes droits ou est ce lui?
Au delà de l'insubordination, avait il le droit de refuser sachant que je ne touchais pas a son global horaires, ni a son repos hebdomadaire, ni a son salaire, ni au variable possible?

Dans l'attente de vous lire...si jamais quelqu'un a plus d'infos sur ce cas de figure...

Vous remerciant d'avance, et bonne journée

Gad