Non changement d'adresse Caf -apl percu par agence

Bonjour,
J'ai quitté mon ancien appartement au mois de juillet 2017 avant un départ à l'étranger et j'ai oublié de déclarer a la CAF mon changement d'adresse.
Apres mon retour en France, je reprend au mois de mars 2018 un appartement et demande les APL, qui me sont données deux moi plus tard, mais en regardant mon compte CAF en ligne je me rend compte que mon ancienne agence immobilière à touchée les APL de mon ancien logement jusqu'à la prise de mon nouvel appartement. J'ai donc signalé à la CAF le problème pour éviter que cela ne me retombe dessus. Cependant, après leurs avoir expliqué, la CAF me coupe mes aides actuelles et m'envoie une notification de dettes s'élevant à 905euro. Je sais que je suis en tort de ne pas avoir déclarer mon changement d'adresse, mais c'est l'agence immobilière qui a touchée cet argent à ma place et ce serait donc a elle de rembourser la somme due non ?
Merci de m'éclairer car je ne comprend pas très bien tout ça ...