Fraude et trop perçu

Bonjour,
Je m'explique ayant été séparé de mon époux pendant un an j'ai touché le rsa ; aujourd'hui après un controle la caf estime que monsieur vivait toujours à mon domicile car pas eu de changement d'adresse (il était sans domicile fixe) il est vrai que je recevais son courrier que je lui transmettait. Aujourd'hui il me réclame 10000e savez vous comment je peux contester cette dette ou m'en défendre ils me prennent tout je n'ai rien pour mes enfants alors que mon mari n'était pas à mon domicile je peux obtenir des attestations sur l'honneur ; merci de l'aide que vous pourrez mapporter.