Résiliation bail suite problème de santé

Bonjour,
Nous louons un bien immobilier (maison) via une agence immobilière. Mi-octobre dernier, l'agence nous informe que les locataires quitteront la maison mi-novembre suite au problème de santé de l'un des locataires, selon leurs dires, la maison n'étant pas adapté (un étage) à son état de santé. Procéduriers, les locataires adressent à l'agence le certificat médical du médecin confirmant ce pb de santé.

La maison disposant d'une salle de bain et d'une chambre au RDC, nous sommes surpris de cet argument d'autant que le problème de santé de l'un des locataires existait déjà lors de la signature du bail et de leur emménagement...

Le bail indiquant scrupuleusement la nature du bien loué (mentionnant donc qu'il y avait un étage), nous avons le sentiment que ces locataires peu avenants ont tout bonnement profité d'un problème de santé antérieur à l'emménagement pour résilier le bail.

L'agence nous a gentillement poussé à ne pas donner suite et à les laisser quitter la maison.

Quels sont nos droits de recours contre nos ex-locataires?