Remboursement retraite après décès d'un parent il y'a 4ans

Bonjour,

Je me tourne vers les lecteurs avisés de ce forum pour demander de l'aide avant de passer à un conseil juridique si besoin.

Je résume la situation :
Mon père est décédé le 30 septembre 2013. Sa retraite était versée par Au****s (ARRCO et AGIRC).
Quelques jours AVANT son décès (le 26 ou 28 septembre de mémoire), Au****s ordonne le virement de sa retraite trimestrielle. Ce virement apparaît sur son compte le 1 octobre mais la banque me confirme que l'ordre de virement date déjà de plusieurs jours.

Ayant procuration, je fais les opérations bancaires nécessaires (virement de la quasi totalité du solde de son compte courant sur le mien, règlement des frais d'obsèques, fin de loyer, abonnements en cours etc...). Je ferme son compte le 5 octobre.

Début novembre je reçois un courrier de la part d'Au****s demandant le remboursement du montant versé le 1er octobre 2013
Après un entretien téléphonique avec eux et étant sans aucune ressource à l'époque, ils me conseille de constituer un dossier de recours gracieux, ce que je fais.
Je leur transmet ce dossier par fax et email (je vivais à l'étranger à l'époque).
Le 25 novembre 2013 je recois un accusé de réception du dossier par email (interlocutrice particulière) m'indiquant qu'ils reviendront vers moi après avoir soumis le dossier à la direction.
Pas de retour de leur part.
Le 8 janvier 2014, je les relance, toujours auprès de mon interlocutrice particulière qui m'avait accusé réception du dossier.
Pas de retour non plus.
Je garde cet argent de côté pendant 2 ans.
Toujours aucune nouvelle de leur part. La vie se faisant j'utilise cet argent ponctuellement pour mes besoins personnels.

Aujourd'hui, je reçois (en Eco pli, non suivi, non remis contre signature) une lettre d'Au****s, faisant office de dernier rappel de leur part, demandant le remboursement total de la somme (près de 7000€ quand même). Je n'ai évidemment plus cette somme et suis dans l'incapacité de la rembourser à ce jour (évidemment la mise en place d'un échelonnage sur de nombreuses années serait possible).

Sont ils en droit de me réclamer cet argent 4 ans après alors que je n'ai eu aucun retour de leur part après ma demande de recours gracieux ?
Dois-je me rapprocher d'eux pour leur évoquer tout cela ? Sachant qu'ils n'ont aucune preuve que j'ai bien reçu leur courrier ?
Si jamais le litige est porté devant la justice ai-je une chance de m'en sortir sans avoir à rembourser cette somme ?

Je dispose toujours de tous les documents prouvant ce que j'avance ici.

Par avance, merci pour ceux qui auront pris le temps de me faire un retour.

Cdt.