Caution pour un logement "meublé"

Bonjour à tous,
voici mon problème :
tout d'abord petite précision, la situation se passe en Guyane, DOM où la loi française s'applique normalement.
La location se fait par agence pour une maison de campagne, entièrement meublée.
Sur la bail, il est écrit :
- en titre "Locaux vacants non meublés, habitation principale"
- en clauses particulières "le mobilier est mis à disposition par le propriétaire au locataire, mais aucun SAV ne sera assuré par le mandat".
Dans la pratique, le jour de l'EDL d'entrée avec l'agence, on avait l'impression que le propriétaire (qui est l'ancien occupant de la maison) avait abandonné les lieux ou qu'il était parti au travail et n'est jamais revenu, du genre, il y avait encore de l'huile dans la friteuse, une dosette usagée dans la Senséo et j'en passe....
La fille de l'agence, très sympa, a fait un inventaire de tout ce bazar "mis à dispo", en nous précisant que ce que nous ne voulons pas, nous pouvons le ranger dans le conteneur dans le jardin, et que l'électroménager qui casse ne serait pas remplacé.
Nous avons donc fait du rangement et entreposé plein de bazar dans le conteneur dont seul le jardinier (employé du proprio) a la clé.
Ce dernier a aussi récupéré un peu de mobilier pour chez lui, il avait soit disant l'autorisation du propriétaire.
Nous avons aussi jeté des vieilleries sans valeurs, qui n'avaient absolument pas leur place dans un logement à louer.
Quelque mois plus tard, le jardinier a disparu, il a trouvé un meilleur emploi ailleurs et est parti avec la clé du conteneur, sans donner d'adresse.
Nous avons aussi remplacé le lave linge cassé par un neuf que nous avons revendu en partant.
Le jour de l'EDL de sortie, la fille de l'agence était très agressive car il manquait plein de mobilier inscrit sur l'inventaire de l'EDL d'entrée.
Maintenant, il traine à nous rendre notre caution et d'après nos anciens voisins, ils sont venus forcer le conteneur pour vérifier que le mobilier manquant est bien dedans.
Maintenant, j'ai peur qu'il nous retire notre caution car il manque du mobilier (ce que l'ancien jardinier a pris + le lave linge + les vieilleries sans valeur).
D'après ce qu'il y a d'écrit sur le bail, pensez vous qu'il peuvent nous embêter à ce niveau ?
Merci d'avance