Trop perçu CAF et visite d'huissiers

Bonjour à tous,

Mes connaissances en droit sont sommes toutes très limitées, je viens donc me renseigner ici en espérant avoir des conseils avisés! J'ai effectué quelques recherches qui ne se sont pas avérées fructueuses, mais je serais ravis de consulter des sujets similaires si il en est.

Résumé des faits:

J'ai vécu en couple un certain temps, mais j'ai du me séparer géographiquement pour mener à bien mes études. J'ai donc intégré un logement étudiant au sein de mon école. Je figurais à ce moment sur mon logement précédent (bail et déclaration d'impôts) ainsi qu'à l'école, mais mes revenus étant très faibles (boursier + pension alimentaire), je ne pouvais que me charger de payer mon logement étudiant. En somme je vivais comme si je rentrais chez "mes parents" le week-end, sauf que mon nom figurait sur le bail.

Cette situation a duré 2 années, jusqu'à ce que je me sépare complètement, date à laquelle j'ai demandé à ce que mon nom soit retiré du bail. Une première de mes erreurs eut été de faire ma déclaration d'impôt à l'adresse de mon ex conjointe semblerait-il car la CAF a fait le lien et décida de couper les versements tout en me réclamant une bonne partie de ce qui m'avait été versé.

J'ai envoyé plusieurs courriers et justificatifs des loyers payés à la résidence scolaire, je me suis déplacé à plusieurs reprises et à chaque fois mon cas n'était pas traité car "trop compliqué" et donc la CAF devait me recontacter par la suite. Les seuls courriers que je recevais par la suite était à base de "sommes dues" sans aucune explication. J'ai cependant pendant quelques mois recommencé à recevoir une aide (?) qui s'est assez rapidement arrêté.

Situation actuelle :

J'ai fini par baisser les bras, ayant une vie assez chargée à côté (cadre) et ne trouvant aucun interlocuteur capable de me répondre. Ayant déménagé plusieurs fois, ils m'ont "perdu" et ont envoyé des huissiers à une ancienne adresse. Que dois-je faire d'après vous? Ils me réclament entre 300 et 800€ (ils ne m'ont jamais donné le même montant dans les différents courriers, ce qui explique aussi pourquoi je ne leur fais pas confiance).
D'après certains messages, j'ai cru comprendre que les huissiers ne pouvaient rien saisir concernant des aides sociales type CAF? Quel est le pire cas de figure envisageable?

J'insiste sur le fait que j'étais boursier, et que le fait d'avoir mon nom sur un bail (ce qui semble être à l'origine de ce quiproquo) - sachant que nous ne touchions aucune aide pour ce logement en commun - ne devrait à priori ne pas me priver de certains droits car je ne vois pas comment j'aurai pu m'en sortir autrement financièrement (et les autres "boursiers" de la résidence n'ont pas eu ce type d'ennuis).

Merci par avance pour vos lumières, j'en ai bien besoin!

Cordialement,