Familles bruyantes

Bonjour,
Nous vivons mon compagnon et moi dans un immeuble ancien (plus de 10 ans) et au dessus de notre appartement se trouve un logement loué par une association qui accueille des familles en situation de grande précarité et bientôt des réfugiés.
Cela fait maintenant 3 familles qui ont défilé et les nuisances sonores qu'elles occasionnent sont de pire en pire. Même aller les voir amiablement ne règle pas le problème, contacter leur association non plus.
Lors de la signature de notre bail, nous n'avions pas conscience de cela, lors de la visite c'était relativement silencieux, et les propriétaires ne nous en avaient pas informés. Cela peut-il être considéré comme un vice caché donnant droit à une rupture directe du bail sans préavis si nous trouvons un autre logement? En ce cas récupèrerons-nous notre caution?
Merci par avance.