Litige a cause du dépôt de garantie.

Bonjour, alors voilà j'ai rendu les clés de mon appartement le 22/04 en même temps que l'etat des lieux évidement. Le logement était vide depuis février pour cause de double appartement durant le préavis. N'ayant pas voulu faire l'etat des lieux avant la fin de mon préavis, j'ai donné le double de mes clés a l'agence afin qu'ils puissent faire les visites quand ils le voulaient. Il y avait eu un "soucis" avec le syndic qui relançait mon propriétaire avec une histoire de haie non taillée et de menace avec un devis exorbitant, j'ai donc taillé les haies. Quelques mois après, le syndic nous a relancé toujours avec cette histoire de haie, je n'étais plus dans l'appartement a cette époque mais je n'avais pas rendu les clés (juste un double), et il s'est avéré qu'en fait la haie n'était pas la mienne mais celle du voisin.... Bref, c'est après cela que mon propriétaire a décidé de faire intervenir dans mon jardin, sans me prévenir, une entreprise d'espaces vert. Lorsque je l'ai eu au téléphone par la suite pour avoir des nouvelles du syndic et de la haie il m'a donc expliqué que ce n'était pas la notre et qu'il avait fait venir je cite : "a ses frais" cette entreprise pour nettoyer le jardin (que j'entretenais moi même), et ainsi "être tranquille".
Il y a eu ensuite l'État des lieux de sortie, qui s'est très mal passé, avec des erreurs en ma défaveur... Mais comme j'etais seule et pas vraiment informée, j'ai signé, en râlant mais j'ai signé.
J'attendais donc les 2 mois pour récupérer ma caution (qui est arrivée avec du retard d'ailleurs) et là surprise, sur les 495€ déposés seul 24€ m'ont été restitués... Assez furieuse j'appelle le propriétaire afin qu'il me transmette les factures ou devis. Je viens de recevoir la facture et je remarque 180€ retenus pour l'entretient du jardin et en date du 29/03, soit un mois avant l'EDL de sortie (sans oublier que l'on ne m'a pas prévenu et aussi qu'il m'avait dit que c'était lui qui payait). Concernant la partie jardin, les états des lieux d'entrée et de sortie sont identiques.
Je lui ai donc envoyé un mail en lui indiquant que vu que les 2 états des lieux étaient identiques concernant le jardin, je demande a ce qu'il me rembourse les 180€ (vu que l'on a jamais eu de problème, je préférais lui en parler avant de le mettre en demeure). Et donc là je suis dans une impasse parce qu'il m'a répondu (très énervé) que évidement les 2 EDL été identiques vu qu'il avait fait venir une entreprise avant la remise des clés et que l'on en avait parlé avant et qu'il y avait accord préalable... Ce qui est faux vu qu'il m'a prévenu après. Et là il me menace de me faire payer toutes les choses qu'il n'a pas retenues dans la caution (griffure sur tapisserie et placard mal coulissant), en me disant que ça me couterait plus que 180€.
Donc ma question, a t il le droit de me demander de l'argent après m'avoir déjà rendu ma caution et bien apres les 2 mois de l'etat des lieux ?
Merci d'avance pour vos réponses :)