Caf mère isolé

Bonjour, je vous explique la situation ;

Je me suis séparé du papa de ma fille 4 semaines avant d'apprendre que j'étais enceinte, en apprenant que j'étais enceinte j'ai donc fais une demande mère isolé, et j'ai bien précisé que j'étais séparé du papa comme nous étions déclaré ensemble. Depuis la naissance de notre fille nous recommençons a se voir et a passer du temps ensemble avec notre fille, je passe aussi parfois du temps chez lui, et je fais tous nos rdv pour notre fille chez lui pour plus de facilité comme c'est dans sa ville que j'ai accouché, je voulais savoir si pour la caf cela est considéré comme de la fraude de revoir le papa et passer du temps chez lui mais sans être domicilié chez lui puisque je vis toujours de mon côté en même temps ?