Rattraper des heures dûes, pendant ses congés payés

Bonjour,

je travaille dans un commerce, en CDI, et en temps plein.
Mon employeur a modifié cet été les horaires d'ouverture de l'entreprise, ce qui fait que je ne travaillais plus que 30h par semaine. Je lui avais demandé au moment là de réarranger mon planning pour conserver mes 35h par semaine, ce qu'il a refusé, expliquant qu'il aurait besoin de ces heures de travail à rattraper plus tard.
(à ce stade je ne savais pas si c'était recevable, mais je n'avais pas envie de créer de problème)

Seulement voilà : je pose une semaine de congés, et courant de cette semaine mon employeur me contacte pour que je vienne récupérer une partie de ces heures durant mon congé, un autre employé étant malade.
En a-t-il le droit ? Si oui, comment décompter ces heures puisqu'elles me privent de congés ?