Demande de remboursement illégale

Bonjour,

Voici mon soucis.
La caf vient de me déclarer que je dois leur rembourser 6 mois d'apl, c'est à dire presque 1700 euros de Janvier 2021 à Juin 2021. Pour vous dire que je ne comprends absolument pas cette décision.

On me donne comme motif: modification des ressources annuelles.
Cependant si cela est basé sur mes revenues de l'année dernière, il y a soucis car j'étais au chomage, n'est pas travaillé sauf pendant le premier confinement de Mars 2020 à début Avril et ai touché à peine un smic, mon chomage étant d'à peine 800 euros par mois. J'ai d'ailleurs arrêté de toucher le chomage en Octobre 2020 et avais donc demandé le RSA (Que j'ai eu difficilement car n'ayant plus de revenus j'avais demandé une neutralisation des revenus qui a été acceptée).
Pour être plus précis, je n'ai pas travaillé depuis Avril 2019, pour vous dire à quel point cette décision est incompréhensible, d'autant plus que j'ai appris la décision aujourd'hui en regardant mon compte allocataire, ce qui signifie que les retenus ont commencé sans même que je n'ai eu le temps de contester ou de discuter du montant des retenues, ce qui est illégal.
Je travaille en contrat cdi depuis le 1er Juin, deux mois auparavant j'étais en AFPR rémunéré par pole emploi.
Le montant des ressources que j'ai touché l'année dernière sont de 7848 pour mon chomage et 1300 de salaire pour Mars-Avril 2020 en partant du principe que cela a diminué mon allocation pour ces mois.

Ma question est, est ce bien une erreur de la caf et que puis-je faire ?