APL percut par un propriétaire à tord

Bonjour,

Je vis depuis le mois de mars 2010 avec mon conjoint, nous avons fait une demande d'Aide au Logement qui nous a été accordée.
Cependant nous avons recu une notification de la CAF disant que mon conjoint avait percu l'APL en 2006 alors qu'il était retourné vivre chez ses parents (fiches de paie à l'appui).

En 2006, c'est le propriétaire qui percevait directement l'APL et a continué à percevoir alors que mon conjoint avait déménagé.
Evidemment mon conjoint n'était pas au courant.

En 2010, quand nous avons emmenagé l'agence a percut l'aide au logement directement alors la CAF a retiré la somme au fil mois des mois.

Aujourd'hui je suis allée a la CAF et la personne m'a dit qu'une fois que la somme a été réglée ils ne peuvent pas rendre l'argent.
Pouvons nous nous retourner contre l'ancien propriétaire ?

J'espère m'être bien expliquée, au besoin posez les questions ;)
Cordialement