Congés payés en 4/5ème

Bonjour,
Je travaille en 4/5ème en 4 jours mais sur une base horaire de 31H au lieu de 28H.
En 2007, le responsable du personnel m'avait spécifié par écrit que mes droits aux congés payés seraient calculés sur mon temps de travail réel .
En janvier 2011, je me suis aperçu qu'en juin 2010 mon employeur avait modifié le calcul de mes congés sans m'en avertir.
Maintenant mes congés sont calculés sur la base des jours travaillés et non sur la base de mon temps de travail réel.D'après mon employeur, c'est la loi, les congés doivent être calculés sur les jours travaillés et non sur le temps de travail réel.Que je fasse 28,31 ou 35 h sur 4 jours, c'est pareil, je n'aurai que 20jrs annuels.
Est il dans son droit car il ne veut pas me transmettre un courrier justifiant ce changement de calcul ni me dire quel est l'article du droit au travail auquel il se réfère???
D'avance, je vous remercie de votre aide