Fraude ou pas

Bonjour,
Je vivais avec mon compagnon il ne travaillais pas. Puis nous nous sommes séparés un moment ce que j'ai déclarer à la caf. Puis remis ensemble quelques temps après j'ai eu un contrôle. Quand il es revenu la caf m'a reprocher le fait qu'il recevait toujours son courrier à notre adresse. Mais physiquement il n'était plus dans l'appartement. C'est une fraude ? Car à l'issu de sa j'ai une dette que je n'ai pas contester. Je travaille à chaque fois qu'il me doivent de l'argent il ne me le rembourse plus alors qu'il ont mis en place un échéancier mensuel que je paie. Avec le recul je me rend compte que je devrais contester la décision. De plus ont t'il le droit de ne jamais rien verser quand il me doivent ?