Pas de déduction de loyer du bailleur social qui perçoit les APL

Bonjour,

Je vous explique la situation :
Je suis entré dans mon logement seul (donc je suis seul sur le bail) , puis ma copine m'a rejoint pour vivre avec moi, j'ai immédiatement changer de situation sur la CAF ainsi que demander à mon bailleur social ce qu'il fallait faire pour ajouter ma copine sur le bail. Des pièces justificatives ont été demandées puis plus rien.

X mois plus tard, des nouvelles du bailleur social nous disant que pour ajouter ma copine sur le bail il faut une attestation de PACS ou de mariage (ce qui n'est pas notre cas), sinon ils refusent.

Une demande d'APL avait été faite lorsque ma copine m'a rejoint dans mon logement, après calcul la CAF nous reverse des APL depuis Avril, et mon bailleur social les perçoit (je dispose des attestation de paiement stipulant que mon bailleur encaisse bien l'argent)

Le fait est que : Mon bailleur social refuse de me reverser les APL qu'ils perçoivent sous prétexte que ma copine apparait dans la demande d'APL (ce qui est logique puisque nous vivons ensembles) mais qu'elle est inconnue de leur service et donc ils refusent de nous reverser les APL qu'ils perçoivent. Ils m'indiquent d'abord qu'ils ont refuser l'argent, puisque lorsque je leur montre les attestation de paiement, ils me disent qu'ils vont faire un retour de paiement à la CAF.

J'ai contacté la CAF qui m'a dit que c'était du grand n'importe quoi et qu'ils n'avaient aucune raison de refuser les APL puisque la situation juridique =/= composition du foyer. Que même si l'autre personne n'était pas sur le bail ils n'étaient pas en droit de refuser les APL si la CAF estime que nous y avons droit.

J'ai par la suite contacté l'ADIL qui m'a confirmé la même chose.

Cependant je viens d'avoir la CAF au téléphone qui m'indique que mon bailleur social n'a jamais fait de retour paiement à la CAF, et qu'ils continuent d'encaisser mes APL.

-> Résultat je me retrouve à payer le loyer plein pot chaque mois avec ma copine et eux de leur côté encaissent mon APL en plus sans rien me déduire.

Que puis-je faire pour récupérer ce qu'ils me doivent ? Bloquer le loyer ? Saisir le tribunal d'instance ? Quelqu'un a déjà eu une situation similaire ?