Je n'ai pas déclaré mon conjoint

Bonjour,
Voilà je viens ici pour peut être avoir des renseignements.. je vous explique en 2017 nous avons construit avec mon conjoint et quand on a eu la bonne adresse de notre logement je suis aller sur le site de la caf changé nos adresse mutuellement en laissant célibataire car il y avait la case marié, pacs ou union libre sauf que je ne savais pas ce que voulais dire union libre j'ai toujours laissé célibataire jusqu'à aujourd'hui sauf que aillant perdu mon travail plus de mutuelle je me retrouve au chômage et demande la cmu sauf que quand je remplis tous les papiers tout va bien sauf le numéro de caf et la, la conseillère de la CPAM m'apprend qu'il faut qu'on ai un seul numéro vu qu'on habite ensemble je savais pas et du coup là je vais voir pour faire le changement de situation mais j'ai peur de ce qu'il peut nous arriver !! Nous n'avons pas d'aide juste prime d'activité lui en 2017 il avait pas grand chose ( 30-50€/ mois) en 2018 il a perdu son travail du coup chômage jusqu'à 02/19 et moi (dans les alentours 100-200€/ mois tout dépend des heures que je faisais).. pouvez vous me dire ce qu'on risque? Est ce que on risque d'avoir une grosse pénalités avec une sommes astronomiques ( 10.000 -15.000€ ou plusss ) je suis prête à rembourser ce qu'on a eu en trop perçu mais j'ai peur d'une grosse grosse pénalités..
J'espère que quelqu'un pourra m'aider..
Merci..