Rattrapage de 8 mois apl versé au tiers avec refus de les virer

Bonjour,
Suite à un dysfonctionnement caf, mon apl à été suspendue en 01/2016 et c'est seulement 9 mois plus tard , après 30 appels, 30 messages, 10 examens du dysfonctionnement par des conseillers çaf différents que la situation à été régularisée : virement de 8 mois d'apl, soit 2400 euros au bailleur et poursuite mensuelle de l'apl.
Mon problème : le bailleur veut mois après mois, enlever le loyer soit 270 euros à ce montant de 2400 euros.
Mon souci : pour faire face à ce dysfonctionnement caf, j'ai du faire un prêt que je dois absolument rembourser maintenant (2 000 euros).
Le bailleur dit que le virement aurait dû être fait à moi directement, la caf dit ne connaître que le bailleur pour les virements.
Que faire ?
Merci de vos conseils.