Congé payé non pris

Bonjour,
durant mes trois premieres année de travail je n'ai pas pris l'integralité de mes CongésPayés, en pensant qu'ils seraient reportes sur l'annee suivante ou payés en plus .
Mon employeur ne m'a jamais refusé de CP, mais ne m'a jamais prevenu qu'ils seraient perdus si je ne les prenais pas, jusqu'a cette année ou j'avais besoin de poser plus de jours de congé (pensant pouvoir piocher dans ceux que je n'avais pas pris les années précédentes ou au moins l'année précédente) et que l'on m'a repondu que comme on ne m'avais jamais refusé de congé et que donc si je ne les avais pas pris ce n'etait que de ma faute ils etaient perdus.
est-ce vrai?
Merci de m'aider a comprendre tous cela.