Accusation... Sans preuves ?

Bonjour à tous.

En juillet 2017, j'étais étudiant et vivais avec une amie car être étudiant de nos jours : c'est difficile de payer le loyer.
Nous bénéficions tout les deux d'allocations logement puisque nous étions en collocation.
En Mars 2019, nous nous sommes rapprochés et sommes devenus plus qu'amis. Nous avons appeler la CAF pour signaler le changement, et ils nous ont demandés de refaire le bail à cette date afin de symboliser ce changement aux yeux de la loi, ce que nous avons fait.

A l'issu, nous n'avons plus toucher d'allocation logement puisque nous sommes en CDD depuis février 2019.

Deux mois après nous déménageons dans un autre logement, plus grand.

6 mois après notre déclaration de couple, nous recevons un courrier recommandé avec A.R nous accusant d'être fraudeurs depuis juillet 2017, que nous sommes en couple et que je dois 1.400€ à la CAF et ma petite amie 1000€.

Je demande donc un rendez-vous avec la CAF, qui me disent qu'il faut payer la créance de 800€ (?) ou bien justifier que nous ne sommes pas en couple depuis 2017.

Nous contestons cette accusation, en joignant toutes les pièces justifiant notre bonne foi : attestation sur l'honneur des propriétaires (expliquant que le premier bail était pour la collocation, et le second pour se déclarer en couple), des copies de mails accusant réception des démarches à la CAF.
Plusieurs mois plus tard, la CAF nous demande nos relevés de compte depuis 2017 "parce qu'ils en ont besoin"... Ce que nous avons transmis. Deux dossiers de 150 pages de relevés. Sinon, nous devrions payer la créance de 600€ (???)

Aujourd'hui, nous venons de recevoir un courrier qui nous indique qu'ils rejettent notre contestation.

A l'heure actuelle, nous ne savons pas sur quoi nous justifier car nous avons montrer patte blanche, accepter toutes leurs requêtes, tout en se justifiant dans le vide puisque nous ne sommes pas au courant sur quelles "preuves" la CAF se base. De plus, ils ne sont pas très clairs au niveau du montant qu'ils nous demande... La prochaine étape est le tribunal administratif.

Ma question est : comment se défendre de quelque chose qu'on nous accuse sans preuves ? Comment pourrais-je avoir gain de cause ?