Travailler un jours de congé

Bonjour,
Je viens ici pour trouver des réponses et des solutions à mon problème.
Je vous explique le cas :

Lundi matin j'étais en repos mais ma compagne subissait une intervention chirurgicale. Malheureusement, cette intervention s'est mal passée, des complications sont arrivées.
Dans l'après midi je contacte mon employeur pour l'informer que mardi matin je serai absent voulant rester auprès de ma compagne. Aucune altercation, il comprend la situation.
Aujourd'hui jeudi, il m'impose de revenir samedi (alors que c'est mon jour de repos) pour récupérer les heures de ma collègue qui m'a remplacé ce fameux mardi.
Seulement samedi je ne peux pas me déplacer mais je propose d'autre jour pour rendre ces heures étant ouvert à toute proposition, le patron m'a dépanné, je le dépanne.
Face à mon refus, il me dit haut et fort : "soit vous venez samedi, soit on met fin au contrat."

Que puis-je faire ? A t-il le droit de m'obliger à revenir ?

Merci de vos réponse d'avance, cordialement, sébastien.