Problème de CAF et paiement partiel des loyers

Bonjour,

Je suis étudiante et je loue un appartement depuis un an et demi.
L'agence qui gérait mon immeuble a fermé en octobre dernier et mes APL sont toujours versées à cette agence, le compte de celle-ci devant être toujours actif. J'ai demandé à la CAF à de très nombreuses reprises de verser l'argent sur le compte du propriétaire (parce que je dois lui payer mon loyer intégralement) mais rien n'y a fait, ils continuent toujours de le verser sur ce compte.
J'ai payé intégralement mon loyer d'octobre à février, mais n'ayant aucune source de revenus (je vis sur ce que j'ai gagné l'été), je n'ai pas pu continuer à le faire.
Depuis février l'immeuble a un nouveau propriétaire, à qui la CAF a demandé une copie du contrat de vente pour que les APL des locataires de l'immeuble soient versées sur son compte, et qui, toujours selon la CAF, l'a donné tardivement. Pour ce qui est de mon dossier, il est donc "en cours de traitement".
A ce propriétaire, à part en février, je n'ai jusque là donné que ma part de loyer, sans les APL qu'il va finir par percevoir.
Le problème, c'est qu'il dit que les problèmes que j'ai avec la CAF ne le concernent pas et que je lui dois le reste des loyers que je n'ai pas payé intégralement. Il menace de déclarer mes "loyers impayés" à la CAF.

Peut-il vraiment quelque chose contre moi ?

Merci d'avance