Horaires de nuit impayés

Bonjour,
Je suis salarié de La Poste et étant facteur, je travaille normalement de 6h15 à 12h50 tous les jours, du lundi au samedi.
Or il se trouve qu'un collègue qui est embauché au tri de 4 heures du matin jusqu'à 6 heures est absent, pour cause de maladie et ce depuis deux bons mois déjà (et doit être arrêté encore deux mois car il doit subir une opération) et mon chef m'a donné l'ordre de venir le remplacer tous les jours à partir de 4 heures. Pour équilibrer les horaires le chef me fait finir le boulot à 11 heures au lieu de 12h50, ce qui, jusque-là, semble logique.
Or des collègues de l'équipe de nuit me disent que, normalement, je devrais être payé en tarif "horaire de nuit" de 4 heures à 6 heures du matin, ce qui n'apparaît point dans mes deux derniers bulletins de paie, et que ma paye n'a pas changé.
Est-ce normal...? Je suis syndiqué à la C.G.T. et ceux-ci m'ont répondu... "c'est normal, ce n'est pas écrit sur ton contrat de travail".
Merci de me dire si tout cela est bien réglo. A+ et merci.