Remboursement d'un virement de la CAF ?

Bonjour à tous.
Je suis propriétaire bailleur et mon locataire m’a signifié son congé pour le 31 Décembre 2016. Cette personne reçoit une aide de la CAF que je perçois tous les 5 du mois. Cette aide représente à peu près les 2/3 du loyer.
Je n’ai jamais eu de souci de virement et il m’a assuré que le 5 Janvier 2017, j’aurai le versement de la CAF correspondant au mois de Décembre. J’ai donc établi, à la fin de l’état des lieux, une quittance pour ce dernier mois en toute confiance.
En avance sur ses charges, je ne lui ai pas demandé de complément de loyer, attendant simplement le virement CAF. Virement que j’ai eu le 5 Janvier. Mais Ô surprise, je reçois une lettre de la CAF le 10 Janvier me demandant de rembourser cette somme qui n’aurait pas du m’être versée.
Après renseignements pris auprès de ce service, il s’avère que mon ancien locataire a pris un nouvel appartement et contracté un nouveau bail. Le versement de la CAF s’est donc effectué au nouveau propriétaire bailleur et on me demande évidemment de rembourser la somme que j’ai reçue.
J’ai contacté mon ancien locataire qui refuse de me payer ou de rembourser la CAF. Cette personne à une caution solidaire et je pourrai me retourner contre elle, mais avec la quittance que j’ai établie, c’est un document qui indique le règlement du loyer.
Il l’a effectivement été… mais pendant 5 jours !!!
Puis-je demander à la caution solidaire de me régler ou elle va exhiber ma quittance et se réfugier derrière elle ?
Merci de vos réponses.