Erreur d'actualisation pôle emploi

Bonjour,

J'ai travaillé 4 mois en tant qu'ouvrier agricole de mars à juillet 2021. J'ai effectué ma demande ARE auprès de pôle emploi en Août et pôle emploi a rejeté ma demande en me disant que je n'avais pas déclaré les mois durant lesquels j'ai travaillé au moment de mon actualisation.
Cela m'a surpris car je m'actualise tout les mois, mais après avoir pris du recule je me suis rendu compte que je m'actualise mal. En effet j'ai coché durant ces 4 mois "non" à la question "j'ai travaillé ou exercé une activité non salariée", suite à ça pôle emploi ne m'a pas demandé de déclarer mes heures travaillées (ce qui est logique). Bien sûr j'ai communiqué mes fiches de paie de les documents relatifs à la demande d'ARE à la fin de mon contrat, mais ça n'a servi à rien.
Pôle emploi m'a suggéré de faire appel au médiateur, on m'a assuré qu'il serait en mesure de régulariser la situation pour que je puisse accéder à mes allocations chômage. J'ai reçu la réponse du médiateur, il m'a affirmé qu'il ne pouvait rien faire car j'étais dans l'obligation de déclarer à pôle emploi que je travaillais (en temps et en heure)... Il m'a dit que je pourrai en quelque sorte "faire appel", mais il ne met pas beaucoup d'espoir dans cette possibilité.
Est ce que quelqu'un pourrait m'éclairer là dessus?/Aurait une solution pour que je puisse obtenir mes allocations?
J'ai entendu parler du fait de plaider le "droit à l'erreur" mais je ne comprend pas bien de quoi il s'agit.
Merci :)