Conges payes annulés a mon retour

Bonjour,
Voici ma question
Mon cadre m'a informé 4 jours apres mon retour de CP (qui m'avait été accordé par mon employeur et dont j'ai beneficié) qu'en raison de mon grand nombres d'heures supplémentaires en fin de mois, ces CP me seraient finalement rendu mais en contre partie, ces jours normalement de conges, seraient transformés en simple jours non travaillés afin de ne pas me payer d'heures supplémentaires
est-ce legal?
ai-je un recours?
merci d'avance.