Repos et congés payés

Bonjour,
J'ai pris 2 mois plus tôt des congés à partir du jeudi. Or, le mercredi est mon jour de repos. J'ai bien proposé de venir travailler pour "compenser" mon absence pendant mes vacances mais mon patron m'a dit qu'il n'y avait pas besoin et que mes jours de vacances seraient décomptés à partir du jeudi puisque le mercredi est mon jour de repos. Mais voilà, je viens de m'apercevoir que le mercredi m'a été compté en tant que jour de congés. A t- il le droit ?