Trop perçu d'apl

Bonjour,
Depuis plus d'un an je suis dans le même logement. J'ai obtenu celui ci auprès d'une agence immobilière. Le propriétaire a repris la gestion de l'appartement depuis 3 mois. Il a lui même envoyé un courrier à la Caf et cette dernière a donc fait les virement d'allocation sur son compte. Aujourd'hui ils me réclament ces 3 derniers mois qu'ils ont versé à mon propriétaire en disant que j'ai changé de logement. C'est aberrant !! je ne sais que faire je n'ai nullement les moyens de leurs rembourser cette somme et je ne comprend ce que ce changement a à voir avec moi mon logement est identique tout comme mon loyer !
Merci de m'informer des démarches à effectuer.
Aurélie