Contrôle arrêt de travail sortie libre

Bonjour,
J'étais en arrêt de travail avec sorties libre, mon employeur a embauché un médecin pour me contrôler. Comme j'avais sortie libre, il m'ont envoyé un courrier pour me demander d'être presente telle date à telle heure. Or, le courrier est arrivé le jour même où le médecin est venu (courrier vers 11h/12h et médecin 14h15). Ce jour là j'étais absente de 10h à 15h et je pense que c'est mon droit vu que j'ai sortie libre je ne suis pas tenue d'être chez moi à ces heures. Du coup j'ai contesté le rapport du médecin qui disait que je n'étais pas présente à un rdv prévu, mais pour moi prévenir c'est minimum 24h avant! Surtout si on sait que la personne a sortie libre. J'ai été convoquée par la RH qui m'a dit que la date où j'ai reçu le courrier n'avait pas d'importance, que de toute façon même en sortie libre je suis censée être chez moi et que le seul moyen de contester c'était de justifier mon absence par un rdv medical... que dit la loi sur le délai pour prévenir du passage du medecin? Ont-ils le droit de faire ça? Que dit la loi?
Merci