Remboursement CAF trop-perçu

Bonjour, j'ai aujourd'hui un petit soucis, il se trouve qu'il y a 3 ans et demi je suis tombée enceinte de mon copain de l'époque, il l'a reconnu y a pas eu de problème, j'ai eu des aides tout ça c'est ok.
En mai dernier j'ai changé de faculté, et je suis allé dans la même que celle du papa de mon fils, du coup on s'est imaginé faire une collocation tous les trois ça me soulageais pour le loyer et mon fils voyait plus son père, mais puisqu'il avait un contrat de location avec le CROUS jusqu'au 3o juillet il est resté la-bas donc jusqu'en juillet et a perçu ses ALS. Son nom était donc sur le bail de notre appart en mai mais il est venu qu'après et a donc demandé d'APL qu'en Aout, logique. Puis petit à petit on était plus collocataires mais devenu une famille. J'appelle la CAF qui m'envoie un papier pour que je ne touche plus l'API, encore une fois logique, mais rien d'autre.
Un jour je reçois un papier m'annonçant la visite d'un controleur, étant donné que je pensais être en règle je ne suis pas inquiétée, sauf que il y a deux jours je reçois un papier comme quoi mon ami avait été radié de la CAF et que je devais rembourser les allocations au logement social qu'il a perçu de mai a juillet pour son logement du CROUS et les aides au logement personnalisé de aout à novembre qu'il a touché pour notre appart le tout pour la coquette somme de 539 euro que je dois rembourser dans les plus brefs délais étant donné qu'ils ont gelé mon compte CAF. Je comprend vraiment rien et quand je les appelle les conseillers ne savent pas vraiment quoi me dire et me font passer pour une fraudeuse ALORS QUE SUR LE BAIL IL Y A NOS DEUX NOMS!