Conges payés collés au repos hebdomadaire

Bonjour,

Je suis auxiliaire de vie a domicile. J'ai pose mon lundi et mardi en congés payés. Le mercredi est mon jour de repos hebdomadaire mais mon patron me le compte lui aussi en cp sachant que je reprends le jeudi....ça me mange un cp non demandé !! A t il le droit ???