Employeur qui veut annuler mes congés 3 jours avant

Bonjour,

J'ai posé une semaine de congés la semaine prochaine, acceptée depuis début décembre.

Mon employeur me demande ce jour de venir travailler car une réunion sur un projet a été programmée par les personnes du siège social en milieu de semaine.

Or, j'ai prévu de partir dans de la famille dans une autre région avec mon fils, pour qui en plus je n'ai pas prévu de nounou

J'ai indiqué à mon employeur que je ne souhaitais pas venir travailler car j'ai prévu autre chose comme indiqué au dessus , mais j'ai bien vu qu'il n' était pas content et m'a dit de repartir dans mon bureau.

Je risque quelque chose ? Suis je dans mon droit ?

Merci