Mutation injuste

Bonjour,
Ayant obtenu un logement dans un immeuble avec une mauvaise isolation , je suis attaque par mon voisin du dessous (malade lui et ses 3 enfants) depuis mon entrée dans le logement pour nuisances sonores. Le bailleur a trouver comme solution une mutation rapide,j'ai acceptai car ma situation deviens invivable et que jai peur que ces personnes s'attaquent un jour à mon enfant je demande que le demenagement et que les travaux soit effectuer par le bailleur mais il refuse. Que dois-je faire et qu'elles sont mes droits? Merci de me répondre rapidement car ma situation devient trés URGENTE