Rupture de bail pour troubles du voisinage

Bonjour,
Mon ami et moi habitons depuis seulement 2 mois dans un appartement, et dés le premier soir (nuit...) un homme vers 3h du matin a sonné chez nous et chez tous les autres habitants de la résidence, il hurlait, menaçait, il voulait rentrer dans le bâtiment pour en découdre avec quelqu'un. J'ai donc appelé la police, avant qu'elle n'arrive l'homme a réussi a rentrer dans le bâtiment, il s'est mît a frappé sur la porte de mon voisin du rez de chaussé...la police arrive et repart quelques secondes après, je me retrouve sur mon balcon a les regarder "malheureusement" partir, ma voisine du dessous surgit de son balcon elle même réveillée par ça. Elle me raconte que cela fait 2 ans que cela dure, que le voisin du RDC n'a pas de bonnes fréquentations et que les nuisances et bagarres sont nombreuses...
et cela fait deux mois que je retrouve des canettes de bières dans ma cage d'escalier (nous avons 100 euros de charges...) que nous sommes réveillés par des hurlements dans la cage d'escalier et autres..
Ce n'est pas vivable du tout...
Je voudrais donc savoir : l'agence vient de récupérer le bien donc pas au courant de ce problème, mais néanmoins elle se doit de m'assurer séreinté dans notre logement, puis je lui demander : un relogement ? Un remboursement des frais d'agence afin de pouvoir déménager et trouver un autre logement?
Le syndic de copropriété m'a indiqué qu'une procédure d'exclusion pour cette personne allait être lancée mais nous n'allons pas attendre jusqu'à là...
Merci d'avance pour vos réponse