J'ai fait une erreur et j'ai une grosse dette

Bonjour,
je suis actuellement étudiante et je suis domicilier seule à Besançon (25). Je perçois les aides au logement depuis prés de 3 ans. Je suis en couple depuis 3 ans mais mon conjoint habite chez ses parents dans le Jura (39). Récemment, il a trouver un travail sur Besançon, et s'est inscrit sur la CAF pour percevoir la prime d'activité. Cependant, vu qu'il travail sur Besançon, il a pensé qu'il fallait qu'il s'inscrive sur la caf du Doubs(25) et non sur son lieu d'habitation (39). Ainsi, il a déclarer qu'il vivait a titre gratuit à mon domicile et que nous étions en couple depuis 3 ans. De ce fait, la CAF à compris qu'il habitait chez moi depuis tous ce temps et me demande aujourd'hui de leurs rendre le trop perçus, càd toutes les prestations qu'ils m'ont donner durant ce temps. De plus, je n'ai plus le droit à mes aides au logement. Cependant, mon conjoint n'habitait pas avec moi, nous avons plusieurs documents pour le prouver. Je l’héberge chez moi seulement depuis novembre mais toujours à titre gratuit car il est toujours rattacher au domicile de ses parents.
Nous allons rédiger un courrier pour expliquer cette situation, pensez vous que je vais devoir m'acquitter de cette dette? et que ma situation peut être réguler en ma faveur?