Que dit le loi, quel est mon droit et mon devoir

Bonjour,
le medecin du travail ne rentre de ses congés annuels que le 4/9/2017 et je pars en province le 3/9 pour 10 jours (reservation faite en mars).
ma cadre semble dire que si le med du trav ne valide pas mon aptitude a reprendre le travail, je ne peu partir en CA. comment faire il ne sera pas rentré avant mon depart?