Congé annuel

Bonjour,
Je voudrais savoir si je peux légalement changer mes congés annuels. L'entreprise de mon conjoint ferme au mois d'aout et moi j'avais posé juillet, nous avons des enfants et je ne peux pas envisager des vacances sans lui.
Mon chef de service m'a dit que ce n'était pas possible car aucun de mes collègues ne veut échanger donc pour raison de service c'est comme ça ! Aurais-je un recours ?
Merci