Contrôle & Sortie libre

Bonjour

Je suis en arrêt de travail dans le cadre d'un accident de travail mon medecin m'a octroyé sans que je lui demande des sorties libre.
Pas de soucis je peux sortir quand je le souhaite après renseignement auprès de la CPAM.
Mon employeur m'a fait contrôler un samedi matin j'étais a mon domicile, mon arrêt de travail était bien justifié aux yeux du medecin contrôleur. ma question est que ce serait il passé si j'étais sorti pour aller a la boulangerie par exemple au moment où le contrôleur est passé.