Refus de restitution du double des cles par le locataire

Bonjour,
Lors de l'état des lieux de sortie effectué avec l'agence chargée de la gestion de notre appartement, les locataires ont restitué les 2 trousseaux de clés de l'appartement mais ils ont refusé de rendre le 3eme trousseau qu'ils avaient fait faire à leurs frais.
Les locataires étant un couple avec 2 enfants en bas age, nous n'avions pas donné une réponse favorable à leur exigence de 3ème jeu de clés, estimant que 2 jeux de clés étaient suffisants et estimant surtout que nous avions déjà satisfait à beaucoup de leurs demandes à leur entrée dans les lieux. Je précise qu'en tant que propriétaires nous n'avions aucune obligation légale de satisfaire ces demandes mais que nous l'avons fait pour être arrangeants.
Nous souhaiterions savoir si légalement ces locataires peuvent conserver ce jeu de clés sous prétexte que nous ne leur avons pas remboursé. Quelle est la démarche à suivre pour récupérer ou voir détruire ce jeu de clé ? L'agence qui s'occupe de la gestion de notre appartement n'est pas très réactive sur le sujet car ils viennent de leur confier un bien en location ...
En vous remerciant par avance de vos éléments de réponse.