Locataire : jardin non entretenu à mon arrivée

Bonjour

J'ai quitté une maison il y a environ 3 mois, de laquelle j'étais (co) locataire. Aujourd'hui nous recevons un courrier nous disant qu'aucune caution ne nous sera rendue, mais on nous demande une somme supplémentaire. Un certains nombre de choses justifient les retenues, mais nous ne sommes pas d'accord avec l'une d'entre elles : l'entretien du jardin.
Lors de notre entrée dans les lieux le jardin n'était pas du tout entretenu, il y avait quasiment 1m50 d'herbe sur toute la surface, si bien que nous avons du faire passer un jardinier car nous n'avions pas le matériel adéquat.
Il est noté sur l'état des lieux entrant que le jardin n'est pas entretenu mais sans plus de détails.
Nous avons entretenu le jardin tout au long de la location, mais lors de notre départ nous n'avons pas pu faire le nécessaire pour retondre la pelouse avant de partir. Il devait y avoir une vingtaine de centimètres d'herbe.
Nous avons été en guerre contre l'agence pendant pratiquement tout notre séjour dans cet appartement pour plein de raisons, et nous trouvons très mal venu de leur part de vouloir nous facturer cela au vu de l'état des lieux à notre arrivée.
Le bail prévoit effectivement l'entretien du jardin par les locataires, mais au vu des circonstances à notre arrivée, pouvons nous légalement contester cette facturation ?