Concubinage apres controle caf

Bonjour,
Je vais vous expliquer mon problème seulement je ne veux pas que l'on me juge sur ma situation, ni mon mode de vie, j'ai sûrement fait des mauvais choix dans ma vie, mais je ne regrette pas.
j ai recu la visite d un contrôleur récemment pour vérifier si je vis bien seule dans mon appartement, car il faut savoir que j ai 3 enfants le dernier a 5 mois, le père de mes enfants, n a jamais voulu resté sérieux et fonder une famille, je tiens a préciser qu il n est pas le pere de mon premier enfant, car j etais mariée.
il venait voir son fils régulièrement, et comme il ne trouvait pas de travail, il est venu dans la région ou j habitais pour tenter sa chance.Lorqu il venait chez moi, on avait des relations et c est la que j ai eu mon 3 eme bébé, lui s(est senti piégé, et trahi, apres l accouchement, et grâce à sa famille qui ont pu le résonner, il a reconnu son bébé.1 mois apres la naissance, ce qui a entraîné un doute auprès de la caf , qui pense que je vis en concubinage, la contrôleuse de la caf, plutôt sympas m a alors dit qu elle avait fait une enquête et que ce qui lui posait probleme c est qu elle avait vu que monsieur était domicilié chez moi aux assedics (ce qui est vrai, car amoureuse j'ai accepté de recevoir son courrier des assedics pour lui laisser plus de chance de réussir sa vie professionnelle car dans la région ou il était pas de travail et toutes les entreprises ont fermé)et elle m a dit qu il fallait que j entamme une procédure pour réclamer une pension alimentaire, pour mes 2 derniers enfants, elle m a ensuite fait signer un document ou j inscris que je n envisage aucune vie commune, ce que j ai rédigé et signé,.....
Aujourd 'hui 2 mois apres, le pere de mes enfants prend conscience de ses erreurs, me demande pardon, et veut venir vivre avec mes enfants et moi, il en a marre de la vie qu il a avec ses copains la naissance de notre dernier bébé l a sûrement fait murir , et souhaiterai prendre son rôle de papa, seulement ayant signé ce papier qui atteste que je n avais pas l intention de reprendre une vie en couple, qu est ce que je risque, va t on me demander de remboursé les 2 ans d api et rsa ??? je n ai pas beaucoup de moyens financier, et n arrive pas a boucler mes fins de mois, la controleuse avait un doute, est ce que si je vis avec lui, elle va constaté que je vivais avec lui et me demander le remboursement intégral de ces prestations avec lesquels je vis.