Caf admet son erreur mais demande quand même remboursement

Bonjour à tous,
En bref, j’ai déclaré ma démission en octobre 2018, puis la CAF de l'Hérault a commencé à me verser le RSA
En janvier 2020 je déménage sur paris et lors du changement de caisse, l’Hérault se rend compte que je ne devais pas toucher le RSA en raison de ma démission et que je dois leur rembourser toutes les sommes perçues.
Je conteste la dette et ils me répondent qu’en effet l’erreur vient bien d’eux mais que je dois tout de même rembourser, et que si je souhaite, je peux faire appel de cette décision
Ma question est: ai-je une chance d’obtenir l’annulation de la dette?

Merci