Décompte congés temps partiel / jour férié

Bonjour,
Je travaille à temps partiel le lundi et le samedi.
Lorsque je prends une semaine de congé, mon employeur me décompte 5 jours sur les 25 annuels.
Cette année, je prends la semaine comprenant le jeudi de l'ascension, qui est un jour chômé dans mon entreprise.
Mon employeur me décompte toujours 5 jours et pas 4, car le jeudi n'est pas un jour de travail pour moi.
Est-ce juste ?
Merci de vos réponses.
Cordialement.