Remise en état d'un jardin 630€?

Bonjour,
J'étais locataire d'un 3 pièces avec jardin que j'ai quitté il y à deux mois maintenant. Mon bailleur ne veut me restituer mon dépôt de garantie pour cause de remise en état du jardin.
En effet un éboulement du mur mitoyen s'est produit et a été signalé il y a un an ! Depuis aucuns travaux mis en oeuvre pour réparer ce mur. J'ai entretenu de mon mieux ( tonte du jardin, taillage des haies, des arbres ) le tout en évitant la partie proche du mur et celle du fond condamnée par l'éboulement ( le reste du mur menaçant de s'effondrer à tout moment ). Sachant que j'allais déménager je n'ai pas tondu à raison d'un mois avant mon départ. Comme il a plue, l'herbe a poussée très vite. Lors de l'état des lieu sortant j'ai expliqué la situation on m'a dit que ça ne poserait aucun problème et pourtant aujourd'hui on me retient 630€ pour tondre une pelouse ! Que puis je faire ?