Congés payés

bonjour,
Je travaille à temps partiel, mes congés sont décomptés en jours ouvrés, je travaille 20 h une semaine et 30 heures l'autre semaine. La semaine où je travaille 20 heures, je ne travaille pas le lundi et la semaine où je travaille 30 heures, je ne travaille pas le vendredi. J'ai pris 3 semaines de congés cet été, la première semaine étant la semaine de 20 h (lundi non travaillé) , retour un lundi car semaine de 30 h. A mon avis, il ne faut pas me décompter le 1er lundi puisqu'il s'agit d'un jour de repos, mes congés pour moi commencent le mardi. Mon employeur ne l'entend pas de cette oreille et veut me décompter ce lundi de repos. En a-t-il le droit ?
Merci de vos réponses.