Recuperation d'une caution

Bonjour.mon ancien bailleur me met en demeure de mettre le terrain loue avec la maison en etat ,alors que ce n'etait qu'un pré à vache et que je l'ai utilisé comme potager.àmon départ,j'ai enlevé les tuteurs à tomates , j'ai bouché les creux lié aux plantations que j'ai fait mais il me demande de remettre son terrain en état suite à l'etat des lieux ,sous peine de faire intervenir un paysagiste .le compte rendu de l'etat des lieux concernant la maison ne mentionne aucun dégat et je pense que ce propriétaire cherche un prétexte pour conserver mon dépot de garantie.quel est mon recours? Merci si vous pouviez répondre à ce sujet. Cordialement.