Cadre forfait jour et absence en journée

Bonjour,

Actuellement cadre au forfait jour dans mon entreprise, je me demande si je peux m'absenter en journée sans avoir de compte à rendre à mon employeur.

Pour situer le contexte, mon employeur demande à tous les salariés qui vont se faire vacciner de le déclarer, et autorise à prendre 1h de temps sur le temps de travail pour le faire. Cependant, pour trouver un centre de vaccination avec des rendez-vous disponibles j'ai dû m'éloigner ce qui m'a pris 1h45 (après ma pause du midi).
Mon responsable m'a alors indiqué que je n'étais pas dans mon droit parce que je ne lui avait pas demandé son accord et que l'entreprise ne permettait de s'absenter que pendant 1h.
Je lui ai alors répondu qu'étant cadre autonome au forfait jour, je ne suis pas soumis au décompte horaire, que l'entreprise ne peut pas m'imposer des horaires de présence, et par conséquent, je considère ne pas être concerné par cette note de service et les 1h associées.

En cherchant sur Internet je ne trouve pas vraiment d'infos à ce sujet, à savoir : est-ce que mon statut me permet de quitter le travail en pleine journée et revenir plus tard ? Quelles sont mes obligations dans ce cas ?

En vous remerciant par avance