Litige Congés payés en alternance

Bonjour,
Suite a un accord oral, mon patron m'a laissé réviser chez moi pendant les jours ou je n'avais pas d'épreuves lors de la periode d'examens, ces jours m'ont étais (pour reprendre ses termes) "offert", et lui on permis de faire travailler une autre personne à mon poste.
J'ai décidez de poursuivre mes études et donc de terminer mon contrat sans le renouveler je voulais prendre mes congés jusqu'au terme du contrat, suite à ça il veux maintenant déduire les jours qu'il m'a offert de mes congés payés et me refuse donc mes congés.
Je precise que je n'ai pas demander a avoir ces jours offert, et si j'avais su qu'ils seraient décompter je ne les auraient pas pris, et également que ces jours "offert" sont répartit entre mai et juin et que sur ma fiche de paie de mai aucun jours n'a été décompter, ce qui confirme l'accord verbal passait entre lui et moi.
Suis-je dans mon droit si je m'oppose au décompte de mes CP pour les jours qu'il m'a "offert", tout du moin ceux de mai?
Quel sont les recours dont je dispose?
D'avance merci pour vos réponse
Julien