Quel risque de ne pas faire visiter son appar

Bonjour,
J'ai donné mon preavis pour l'appart que j'occupe actuellement, et que je dois rendre le 4 octobre.
plusieurs prob se posent :
- je travaille de 9h du matin à minuit, tous les jours.
- les week ends, je ne suis pas dans mon logement.

l'agence immobiliere me contact tous les jours en me demandant mes disponibilités pour faire visiter l'appart.
malheuresement pour eux, travaillant enormément et n'ayant pas envie de donner mes clés pour que n'importe qui vienne visiter en mon absence (peur des degradations eventuelles ou des vols)

ma question est de savoir si l'agence à le droit de garder ma caution pour cause de n'avoir pas fais visiter mon appart
le petit truc à savoir c'est que j'ai eu pas mal de differents avec cette agence (cabinet durand) pour des loyers impayés car entre fin decembre et mi fevrier un carreau etait cassé du fait que la fenetre est pourrie, du coup tant que ce n'etait pas reparé je ne payais pas.
du coup en les embetant un peu j'ai reussi à faire refaire la moitié de la fenetre et l'electricité quelques mois plus tard.
resultat mon appart est en meilleur etat qu'a mon entrée, qu'est ce que je risque?

merci beaucoup pour vos reponses.
El-Deglingo