Congés pris mais non transmis au comptable

Bonjour,
je m'explique, je suis a la fin de mon contrat d'apprentissage(BP pro et 5 ans d'apprentissage dans la même boite). Mon employeur vient de se rendre compte qu'il me devait encore 40 jours de congés payés, il voulait m'imposer de me mettre en congés jusqu'à la fin de mon contrat, chose qu'il n'a pas le droit de faire sans préavis d'un mois, ce qui nous a mis un peu dans le conflit.
Lors de mon apprentissage je n'ai jamais pris 5 semaines de congés payés par ans et encore moins les quinze jours consécutifs obligatoires, mais par contre j'ai pris quelques journées par ci par la, des fois il le disait au comptable et des fois non, il me faisait 'cadeau' de ces journées.
Ma question est la suivante, maintenant que nous sommes un peu en conflit, a-t-il le droit de me retirer ces journées 'cadeaux' de mes 40 jours de congés payés qu'il me reste au jour d'aujourd'hui ?