Secret médical vis-à-vis d'un chef de service sans formation médicale?

Bonjour.

Je suis chef du service santé d'une entreprise dans laquelle nous avons 3 infirmières du travail, et une convention avec la médecine du travail qui nous met à disposition le Médecin du Travail plusieurs jours par semaine.
Sous couvert du secret médical, mes infirmières ne me donnent quasiment aucune information sur leurs activités quotidiennes. Or, je suis également responsable de la prévention des risques au sein de cet établissement.
Le fait que je n'ai pas de diplôme de santé (mes diplômes sont d'ordre management et prévention) justifie t'il que je sois tenu à l'écart des informations de santé partagées entre les infirmières et le Médecin du Travail?
Mon point de vue est que je dois être considéré comme membre de l'équipe soignante, faire partie du "cercle des personnes informées", tout en étant moi-même soumis au secret médical.
Qu'en pensez-vous?e