Congé exceptionnel pour événement religieux

Bonjour,
Je fais partie de la convention collective de l'immobilier, ma convention prévoit un journée ouvrable pour événement religieux.
J'ai donc posé mon lundi 27 mai car je baptisais mon fils le dimanche.
Le vendredi 24 mai mon employeur me déposait un mot sur mon bureau m'indiquant que je n'avait le droit à un jour si et seulement si le baptême se déroulait un jour de semaine.
Comme j'avais des invités venus de loin et que j'hebergeais, j'ai envoyé un mail a mon patron pour le prévenir de mon absence pour ce lundi.
Il m'a envoyé un courrier recommandé en me stipulant que c'était une lettre d'AVERTISSEMENT pour avoir pris une journée sans son autorisation.
Ma question: a t il raison pour la journée ouvrable ? Ou est ce moi ?
A t il droit de me mettre un avertissement pour ce motif ?
Merci pour vos reponses