APL reçu par une Agence

Bonjour, en juin 2016 j'ai eu un nouveau propriétaire tout en étant dans le même logement , l'agence percevez donc la suite de mes APL ( somme que je ne recever donc pas directement ) , sauf que suite à ce changement de propriétaire ils ont reçu deux fois mes APL : donc 2× 534euros . L' agence a reçu le courrier comme quoi ils doivent cette argent mais suite à ce courrier soit disant c'est à moi de rembourser cette somme car ils ont diminué mes loyers dessus ( moyen pour faire culpabiliser... ) ... Donc pour moi je ne doit pas les 534euros que l'agence me dit de rembourser la CAF car c'est l'agence qui aurait dû ce rendre compte de l'argent en trop et comme c'était payé par un tiers je ne suis pas redevable . Ma question est : es ce que je doit quand même rembourser la CAF en sachant que c'était payé par un tiers ou je ne doit rien et c'est à l'agence de ce débrouiller pour payer? Merci de vos reponse