Allocation logement verse au propriétaire

Bonjour,
Je suis locataire depuis le 01/07/2015. je n'ai jamais donné mon accord pour que la caf verse directement l'allocation logement a mon propriétaire, mais le caf verse a mon proprietaire. Parce que mon proprietaire a demandé de recevoir toutes les allocations de locataire.
A cause de mon titre de séjour, l'alllocation arrêtait d'Août à Octobre, 3 mois.Mon propriétaire m'a demandé de payer la difference de 3 mois,et je lui l'ai donné.
Mais maintenant l'allocation a déjà récupéré, et il a refusé de me rendre la différence, qu'est-ce que je peut faire?
Merici.