Non respect du bail par propriétaire

Bonjour,

Je vous explique la situation le plus clairement possible.
J'ai quitté un logement le 17/11/2015 avec état des lieux de sortie et remise des clefs au propriétaire.
Il m'a dit pas de soucis sauf deux bricoles qu'il a acté sur l'état des lieux de sortie.
Il a pris mon adresse pour m'envoyer la caution.

Aujourd'hui deux mois plus tard n'ayant aucune nouvelle de la caution, je lui envoie un mail pour savoir pourquoi je n'ai toujours rien reçu.
Il m'a répondu qu'il va m'envoyer une courrier avec toutes les charges que je dois encore payer, le bail stipulait 475 euros de loyer + 10 euros de charge ce que j'ai toujours payé.
Là il me dit que je n'ai pas assez payé et qu'il va donc se servir sur la caution.

Est ce normal ? peut il le faire alors que le bail était très clair et qu'il ne m'a pas informé que je ne payais pas assez de charge ?
De plus il n'a pas respecté le délai maximal des 2 mois pour me rendre la caution.

Merci .