Problème remboursement

Bonjour,
Je vous explique en gros ma situation.
Je suis devenu maman en août 2016, je vivais encore chez mes parents ( j’ai fais un déni de grossesse total bref) j’ai touché le rsa pour subvenir au besoin de ma fille.
J’ai rencontré mon homme et nous nous sommes mis en appartement le 09dec 2018
Le 1er déc2018 j’étais censé faire ma déclaration de rsa mais je savais pas si je devais faire comme si j’etais Déjà en appartement ou faire comme d’habitude donc j’ai téléphoné à la caf de mon département pour demandé et on m’a répondu de faire comme d’habitude donc je l’ai fais. J’ai touché le rsa en décembre, janvier et février donc.
( j’ai changé de département. Donc quand mon dossier est arrivé dans mon nouveau département, je suis allez à la caf pour m’assurer que c’était bien normal de percevoir encore le rsa alors que je suis en appartement depuis le 08dec.)
La dame de l’accueil ne sachant pas me répondre, elle est allé chercher un responsable, il m’a emmener dans son bureau, à regarder mon compte caf et m’a assuré que mes paiements était normal....
Sauf que la supriiiiiiise on me réclame l’argent que j’ai touché à tord ( + le trop perçu d’aide au logement. Ce qui fait 1600 à rembourser )
Bon pour l’aide au logement je ne conteste pas, on a trop perçu on redonne c’est normal.
Par contre pour le RSA je suis choqué sachant qu’un responsable m’a assuré que c’était normal. Je dois faire quoi? Redonner et fermer ma bouche alors que c’est eux qui m’ont dit de faire comme ça. J’ai fais que faire ce qu’ils m’ont dit je suis énervé franchement. Ils savent pas faire leurs travail et c’est moi qui me retrouve dans la ***....