Remboursement de la caf!!

Bonjour,
je viens de recevoir un courrier de la caf me demandant le remboursement de prestations touchée d'octobre 2006 à aout 2008 ( remboursement paje + rmi)
ma situation est qu'à lépoque j'étais domiciliée en belgique ( pays dorigine ) mais je suis résidente en france ( par mon travail au départ ensuite je suis tombée au chomage et rmi)
mais ils ont pris en compte mon domicile et me disent que mes prestations familiales auraient du etre touchée en belgique et non ici.
un controleur de la caf est venur à la maison et je lui ai expliqué la situation ( mon mari vit en belgique et moi jetais ici), il me dit pas de problème, vous n'aurez rien à payer, nous nous chargeons de demander le remboursemetn nous meme en belgique car vous ne saviez pas que cetit le domicile qui était pris en compte, donc vous toucherez vos prestations à partir d'auj en belgique et non ici
et mnt je recois un courrier me demandant non seulement le remboursement de la paje mais également du rmi alros que jetais bien résidente ici ( tjs en recherche d'emploi)

comment dois-je réagir à ça?
ont il le droit? alors que le controleur ne m'avait pas dit ça?

merci bcp de mélairer