Versement rétroactif d'APL au bailleur

Bonjour à tous,

Voilà mon problème : J'ai déménagé en août dernier (2011) dans un logement conventionné (HLM éfidis). Depuis mon dossier était toujours en traitement à la CAF, et après multiples échanges voilà enfin mon dossier traité.

Depuis Août, j'ai payé tous mes loyers. La CAF doit alors me verser environ 1700€.

Le problème c'est que la CAF va verser cette somme à mon bailleur.
Je les ai appelé et voici leur réponse "Vous êtes dans un logement conventionné, l'aide est versée au bailleur, c'est ainsi.".

J'ai appelé mon bailleur qui me dit "On va vous les donner sous forme d'avoir. En gros, vous les verrez sur vos avis d'échéances et vous ne paierez pas de loyer pendant X mois."

Que mon allocation mensuelle, à compter de maintenant, soit versée au bailleur, pas de problème.
En revanche, que mon bailleur perçoive la somme de rétro-activité, je ne suis pas vraiment d'accord. J'ai payé tous mes loyers jusqu'ici, j'estime que cet argent est le mien.

Qu'en pensez vous ?
Y'a t-il un moyen pour que je puisse récupérer cet argent ?

Merci d'avance pour vos réponses.