Allocation logement versé au propriétaire

Bonjour,
je suis propriétaire, j'ai loué mon appartement et les APL de mes locataires me sont directement versées. Mes locataires sont partis deux mois à l'étranger vers mi juillet jusqu'en septembre sans signaler le souhait d'arrêter le bail. Un mois plus tard après leur retour j'ai reçu un courrier de leur part pour donner congé de l'appartement daté du 15/10/2018.
La CAF me réclame les APL que j'ai perçu pour les mois de juillet, aout et septembre.
Je sais qu'il n'y a pas d'apl pour le dernier moi, donc je m'attendais à devoir reverser uniquement la moitié du mois de septembre. La CAF demande le reversement depuis juillet prétextant que les locataires n'occupaient plus le logement selon le dire des locataires! Est-ce légale de procédé de cette façon? L'arrêt du bail pour moi est clairement au 15/10/2018 lettre envoyée par courrier et signée par mes locataires, à aucun moent ils ne m'ont signaler le désire de quitter l'appartement avant.N'est_ce pas la date du 15/10 qui doit être prise en compte avec la remise des clés! Leurs meubles étaient toujours là au 15/10 d'ailleurs!
Merci pour vos commentaires!