Demande de remboursement trop perçu pension hors délai ?

Bonjour,
Je viens de recevoir une notification de la commission de recours amiable de la CPAM (datée de janvier 2016), me demandant de rembourser 2300 € de trop-perçu. Or ce trop perçu m'a été notifié initialement début 2012, pour des revenus de 2011. J'ai contesté le calcul à l'époque auprès du service invalidité et du mediateur de la CPAM. Le mediateur m'avait répondu en juin 2012 que le service invalidité maintenait son calcul, et que ma contestation serait traitée en commission de recours. Le mode de fonctionnement de cette commission n'était pas précisé (pas de délai, pas d'indication sur le sens à donner à une absence de réponse). N'ayant plus de nouvelles, et ayant à l'époque de graves soucis de santé, j'ai conclu que la demande de la CPAM était abandonnée.
Ma question est la suivante : la CPAM a t elle le droit, 4 ans après, de tenir cette commission de recours ? J'ai lu qu'une absence de réponse de la commission devait être interprétée comme un refus, sauf que cela n'était mentionné dans aucun des courriers de la CPAM. Dans ce cas, leur demande ne devrait elle pas être annulée ? Sans compter que la réponse de la commission ne traité que l'une des deux objections que je soulevais...
Merci de votre aide.