Non restitution de la caution pour mauvais entretien du jardin

Bonjour,
L'état des lieux de sorties de notre logement a été effectué le 3 avril 2015. Il a été spécifié qu'il n'y avait rien à signaler concernant la maison (intérieur et extérieur). Cependant, le propriétaire a considéré que le jardin était en mauvais état (haies trop hautes, et quelques mauvaises herbes), pourtant, la pelouse avait été tondue, la haie régulièrement entretenue. Le propriétaire note donc sur l'état des lieux de sortie : "revoir un accord pour l'entretien du jardin qui n'a pas été fait". Nous n'étions pas d'accord avec le fait de prendre en charge des frais d'élagage : elle a finalement accepter de ne pas nous imputer les frais de jardinage (malheureusement convenu oralement seulement, juste au moment de terminer l'état des lieux : nous lui faisions confiance).
Deux mois, moins 1 jour, après la restitution des clés, nous recevons un recommandé présentant une facture de 1852 € de frais de remise en état du jardin + 250 € de charges pour les ordures ménagères (somme pour laquelle nous étions d'accord). La caution est de 1460 € : elle propose donc une non restitution de la caution + le paiement des charges. Au final nous lui devons de l'argent. Je précise qu'il n'y a eu aucun accord de notre part concernant le payement de ces frais de jardinage, que pendant les deux mois qui ont suivi l'état des lieux de sortie, le propriétaire ne nous a absolument par relancé concernant un accord pour le jardin. Il faut préciser que le devis présenté pour l'élagage date du 18 mais 2015, soit 1 mois 1/2 après l'état des lieux : les végétaux ont eu le temps de repousser.

Le propriétaire est-il dans ses droits?