Règles de conservation caution

Bonjour,
J'ai une location saisonnière à la montagne que je loue à la semaine et je demande une caution à l'entrée des locataires. J'ai un locataire qui m'a causé de nombreux problèmes sans toutefois faire de dégats à l'appartement:
- ils ont fumé dans l'appartement alors que le contrat stipule une interdiction et une odeur persistait à leur départ,
- ils ont laissé les baies vitrées ouvertes de manière inconsidérée avec les chauffages électriques fonctionnant au maximum créant une surconsommation électrique ce qui est contraire aux bons usages en montagne, l'attention étant attirée au contrat sur ce point que je leur ai également rappelé oralement en cours de séjour,
- ils n'ont pas respecté les horaires de prises de possession ni de restitution du logement stipulées au contrat (nous avons par exemple du attendre avec ma femme et notre enfant de 2 ans qu'ils veuillent bien libérer le logement, ceci au delà de l'heure contractuellement prévue et validée ensemble par téléphone, sans aucune justification ni excuse de leur part).
- ils ont été menaçant lorsque je les ai informé que la caution, conformément au contrat de location n'était pas rendue le jour même mais ultérieurement.
- nous avons du les forcer à ramasser dehors des déchets, mégots et autres coquilles de pistaches qu'ils avaient jeté en quantité importante par les baies vitrées du logement.

Dans ce contexte, sommes-nous en droit de conserver une partie de la caution et si oui comment évaluer le montant?

Merci par avance pour votre réponse.

Cordialement