Trop perçu Pôle emploi

Bonjour,
J'ai perçu durant un an environ l'ASS cumulable avec ma pension d'invalidité. Aujourd'hui le pôle emploi me réclame la somme de 4100 euros sous prétexte que j'ai eu des droits ouverts auprès de la Caf pour prétendre à l'AAH et que celle ci n'est pas cumulable.
Je n'ai jamais perçu un seul centime de la Caf puisque j'étais en pension d'invalidité, j'ai fourni cette preuve au pole emploi mais ce dernier estime qu'ayant des droits auprès de l'AAH je suis tout de même redevable même sans versement de la Caf.
Je ne comprends pas qu'on puisse me réclamer une pareille somme alors que je n'ai pas triché puisque je n'ai jamais perçu cette allocation.
Est-ce légal de la part du Pôle emploi? Existe t'il une loi spécifique?
Merci par avance pour votre réponse