Déclaration logement non décent après la fin du bail

Bonjour,

Suite au départ de mon locataire, j'ai constaté plusieurs problèmes résultants d'un mauvais entretient du bien, ainsi que des dégradations : vitrages extérieurs cassés, peintures de 2 ans d'âge délabrées, pas de restitution des clés de la porte d'entrée et du portail, très nombreux coup dans les murs liés au déménagement...
Après avoir fait réaliser des devis par de professionnels j'en arrive à un montant entre 3 et 4 fois supérieur au dépôt de garantie.
Après en avoir fait part au locataire, celui-ci me réclame tout de même le dépôt de garantie.
Il me menace de déclarer à la CAF mon logement comme non décent, justifiant cela par une liste de points dont il ne s'est jamais plaint auparavant, que ce soit pendant le temps de la location ou au moment de la signature de l'état des lieux d'entrée ou de sortie. La maison date des années 40, elle n'est donc pas aux normes dans le moindre détail (toutes les prises ne sont pas reliées à la terre, pas de VMC...), mais est loin d'être insalubre.
Il prétend que la CAF me réclamera alors le trop perçu, puisque un logement non décent ne peut pas donner droit aux aides. Je percevais en effet le montant des allocation à sa place depuis un an puisque le locataire s'était avéré mauvais payeur.

Peut-on se plaindre d'un logement non décent une fois la location terminée?
Si la CAF juge le logement non décent, ce qui parait peu probable, peut elle me prélever les APL alors que l'allocataire est mon locataire?
Qu'ai-je à craindre si je persiste à ne pas céder à ses menaces?

Merci de votre aide