Mon employeur peut-il appeler mon medecin - Heure fin du RDV

Bonjour, j'espère ne pas me trompé en posant ma question sur ce forum.
Je souhaiterais savoir si un employeur a le droit d'appeler notre médecin pour savoir a qu'elle heure s'est terminer un RDV ?

Concrètement j'ai du prendre un rdv chez un spécialiste pendant mes heures de travail. Apres avoir prévenue mon supérieur 2 jours avant, je suis partie pdt ma pause déjeuner et je ne suis pas retourner au travail ensuite ( trajet trop long). J'ai donc ensuite fournis une attestation du médecin stipulant une consultation.
La R.H. s'est permise de contacter mon docteur (sans vraiment ce présenter) en lui demandant a qu'elle heure c'étais terminer le RDV. Elle a considéré que j'avais le temps de revenir travailler et m'a donc mis en absence injustifiée.

Merci d'avance pour vos reponses.