Demande de remboursement suite à contrôle

Bonjour,
J'aurais besoin de conseils au vue de la conplication de mon cas...
Ma compagne vient de subir un contrôle de la part de la CAF qui lui demande un remboursement de tout ce qu'elle a perçu depuis janvier 2016 car le contrôleur a conclu quelle est en couple avec moi depuis cette date.
Son adresse étai pour moi au départ juste une adresse sur de pouvoir récupérer mon courrier, car je travail dans toute la France et vie une grande parti du temp dans les hôtels.....
Pendant un petit laps de temp, nous avons déclaré être en couple, mais vue que j'ai déjà un enfant et ma Situation avec la mère du petit étai compliqué, et vue que je n'étais jamais présent cela n'a pas duré, mais nous somme resté sur de bons termes, et mon courrier a toujours continué à être transmis à son adresse....
Cette été, (août 2018) nous avons prit un peut de bon temps ensemble et avons décidé de nous remettre en couple au vue du changement très prochainement de ma situation professionnelle.
En septembre alors que j'avais subi un accident de travail et étai immobilisé au un contrôleur CAF est venue me poser des questions sur mon identité, et ma présence à son logement, sans rentré dans le logement .... (je tiens à préciser que nous avions déjà entamé des démarche pour un nouveau logement ensemble).
Après notre emménagement octobre 2018 la caf réclame donc à ma compagne une somme astronomique car le contrôleur à conclu que nous étions en couple depuis janvier 2016....
Que doit-je faire face à cette situation ??
Si on m'explique que ma situation au vue de ces éléments me mette dans une position de "hors la loi" pourrais-je demander un échelonnement du remboursement demander ??
Je suis quelqu'un qui travail et ne cherche en rien à profiter de l'état, je voudrai savoir comment je doit procéder pour résoudre ce dilemme....
Merci d'avance pour vos réponses