Non restitution de caution sans justificatif

Bonjour,
nous avons quitté une maison fin Décembre 2011. Etat des lieux établi par l'agence immobilière . Rien à reprocher mis à part l'usure normale.
Le ramonage n'a pas été fait mais je l'ai signalé et suis prête à le payer.
Durant notre location nous avons subit un départ d'incendie. Le propriétaire a préféré nous donner la moitié de ce qu'il a touché de l'assurance et que nous fassions les peintures nous même.
La douche de la salle de bain a également été à refaire, il a payé les fournitures, j'ai fait les travaux.
La maison ayant "bougé", je n'ai pas fait le haut (environ 1/4 de rangée de carrelage) de la douche.
Ayant dépassé le délai légal des 2 mois pour nous rendre la caution, j'ai contacté l'agence savoir si il y avait un souci. Confirmation qu'elle en a discuté avec le propriétaire et qu'il s'agit probablement d'un oubli de sa part.
J'envoie donc un mail au proprio qui me répond ce soir que vu l'état de la maison et la somme qu'il nous a versé pour les travaux suite à l'incendie il estime que nous avons largement récupéré notre caution. Que de plus le ramonage n'a pas été fait.
Questions habituelles :
- A-t-il le droit de ne pas nous rendre la caution sans nous le notifier par courrier ?
- A-t-il le droit de ne pas nous rendre la caution sans justificatif alors qu'un agence a fait l'état des lieux et n'a rien relevé de majeur ?
Pr avance merci de m'avoir lu et de me répondre.
Bonne soirée.