Décompte des congés

Bonjour,

J'ai aménagé mon temps de travail de la façon suivante : 36 heures par semaine sur 4 jours, je ne travaille pas le mercredi.
J'ai posé cette année mes congés de la façon suivante du jeudi 14 aout (le 15 Aout n'étant pas décompté puisque férié) au mardi 19 aout. Je ne reprendrai mon travail que le jeudi 21 aout puisque je ne travaille pas le mercredi.
Or mon employeur veut me décompter en plus le mercredi 20 aout de mes congés, puisque je serai absente ce jour là !! (cela le gène qu'en prenant 1 semaine de congés, seuls 3 jours me soient décomptés !)
Je ne vois pas pourquoi on m'enlèverait un jour qui n'est pas compris dans la période de congé que j'ai posée.
Qui a raison ?