Droit au rsa avec un enfant

bonjour je vis en france en situation reguliere et j ai 6 enfants nes sur le teritoire mais depuis juin 2014 les enfants sont partis au maroc car j ai perdu mon logement mais j ai avec moi mon bebe de 1 mois et demi .je suis marie mais mon mari vit au maroc
la caf me refuse le rsa pour moi et mon bebe sous pretexe que c est le maroc qui doit me les verser alors je me retrouve sans revenu et sans possibilite d avoir un logement
je voudras savoir si il ont droit de faire ca sachant que je voulais regrouper tous mes enfants en france quand j aurai eu mon logement
merci pour vos reponce