Demande de rembourssement d'APL?

Bonjour, quand je suis partie vivre avec mon ami, (le 26/07/2008), nous sommes passés a la CAF pour le signaler avec les papiers demandés (ses fiches de paie et avis d'imposition). Avant ça je vivait seule avec mes 3 enfants et sans revenu donc j'avais le maximum d'APL. Aprés avoir étudier notre dossier ils nous ont attribué une APL beaucoup moins forte, ce qui me paraissait normale. Nous nous sommes Pascés le 30/07/2010 donc nous sommes retournés a la CAF pour le signaler avec les papiers demandés. La caf me demande des justificatifs de domicile pour ces dates et j'ai peur qu'il me réclame un trop perçu voir la totalité des APL versées alors que si il y a erreur, elle vient de chez eux! Je ne pourrais jamais rembourser cette somme car je suis au chômage et ne perçois plus que les ALF pour 2 enfants! Quel sont mes recours! Vais je devoir remboursés cette somme d'argent !
En attente de votre réponse , cordialement