Refus sécu pour quitter le département malgré lettre psychiatre

Bonjour,
Je suis en arrêt depuis plus de 65 jours. Je vois un psychiatre depuis un mois, ce dernier m'a fait une lettre à remettre à la sécu pour quitter le departement 15 jours ce mois ci afin d'aller voir ma famille qui habite loin. Je vis seule je suis en arrêt pour depression suite à un harcèlement moral au travail. Je viens de recevoir un courrier de la sécu m'indiquant qu'ils refuse que je quitte le departement car mon état ne le permets pas. Mon psychiatre ne comprends pas et me dis de partir quand même.. je ne veux pas prendre de risque mais je ne comprends pas leur décision alors il y aurait il un recours à faire ?
Merci