La CAF m'accuse de fraude

La CAF m'a fait rembourser la totalité des APL de 3 ans (10 000 euro au total) sous prétexte que ma fille aînée ne fréquente pas une école française (nous avons 3 enfants). Avec l'aide de mes parents, chez lesquels nous habitions la moitié de l'année
(l'autre moitié à l'étranger pour mon travail), j'ai remboursé.
Or, je suis choqué et scandalisé car la CAF n'a jamais répondu à aucune de mes lettres motivées adressées à la Commission de Recours Amiable, au Directeur de la CAF et au responsable du service contentieux.
Pire, la CAF m'accuse de fraude par omission et demande en plus une amende de 1000 euro. J'ai trouvé déjà l'indu calculé injustement, mais une amende , c'est vraiment trop.
Deux avocats m'ont conseillé de saisir le tribunal, ce que je ne veux pas faire (je n'ai pas le droit à l'aide juridictionnelle). La CAF ne digne pas répondre au Médiateur de la République, qui a intervenu en ma faveur.
J'ai trois enfants et le salaire d'environ 2000 euro net par mois. Rembourser les 10 000 euro c'était déjà dur, mais c'est l'injustice qui me blesse et le fait que la CAF ignore les lettres et les dossiers de recours. Elle ignore aussi le Médiateur. Y-at-il une instance autre que tribunal qui peut forcer la CAF à -au moins! -répondre à les réclamations???