Congé maladie refusé

Bonjour,
La CPAM me refuse mes IJ congé maternité, son courrier de refus n'est pas clair, je ne suis pas sûre de bien comprendre, et je ne sais pas si elle peut le faire dans ma situation. Ma situation est la suivante :

J'ai enchainé :

congé parental
congé sans solde (en accord avec mon employeur pour combler la période où j'étais enceinte entre la fin de mon congé parental et le début de mon congé maternité).
arrêt maladie (4J)
congé maternité.

Le hic : l'arrêt maladie est refusé par la cpam car elle n'a pas reçu le courrier dans le délai imparti.
Par son courrier, elle m'explique que pour ce motif les IJ de l'arrêt maladie sont refusées. Je comprends tout à fait. Mais elle ne précise pas pourquoi je ne touche pas les IJ du congé maternité qui fait suite.
Est-ce que le fait que j'aie un "trou" dans ma situation entre le congé sans solde et le début du congé maternité peut m'empêcher de toucher le congé maternité ? Y a-t'il un recours possible ? (j'ai déjà saisi la commission de recours et j'hésite à saisir le tribunal des affaires de la cpam).

Merci d'avance.