La caf me réclame l'apl de mes locataires sous prétexte d'impayé

bonjour,
Je suis propriétaire d'une maison. Cette maison était louée depuis 3 ans à une femme et ses enfants. Cette famille était régulièrement en retard dans ses loyers. La CAf me versant le complément, j'acceptais leur retard car la famille régularisait annuellement. Mais, cette famille a quitté ( en juin 2015) le logement sans redonner les clés, sans m'avertir, sans donner de nouvelle adresse. L'état du logement était abominable et n'était pas relouable sans travaux.J'ai du faire appel au huissier pour avoir le droit de récupérer mon logement. J'ai averti la CAF du fait que cette famille avait quitté le logement sans m'en avertir. Celle-ci m'a confirmé qu'elle était au courant car la famille avait transférer ses demandes d'allocation à une autre adresse. Cette nouvelle adresse ne m'a pas été donné. De part mes recherches personnelle, cette famille serait partie vivre à la Réunion.
J'ai fait l'erreur d'informer la CAF que cette famille m'était redevable de 8 mois de loyer ( soit 1383€). Sous prétexte que je n'ai pas informé la CAF des difficultés de paiement, celle ci me réclame 3959 € d'APl reçu au cours de ces 8 mois !! J'ai fait un recours auprès de la CAF pour expliquer la situation , mais ma demande a été rejeté.
Résultat : la famille occupait le logement, elle ne payait pas son loyer( 13383€), je dois rembourser les APL ( 3959€), et j'ai dû faire appel au huissier ( 900 €) pour récupérer mon bien, sans compter les travaux nécessaires pour pouvoir relouer le logement.
Comment puis -je convaincre la CAF de ma bonne foi ?