Probleme de voisinage dites moi svp

Bonjour,
J'ai de très gros problème avec ma voisine du dessous qui se plaint du bruit que nous faisons. Nous habitons un duplex et elle aussi, ce qui veut dire que sa chambre se trouve juste sous notre salon. Cette dame travaille de nuit et souhaite dormir la journée. En fait nous la dérangeons le matin entre 7h30 et 8h00 le temps de préparer les enfants pour la crèche (garçon de 2ans 1/2 et fille de 1an) le soir de 18h a 20h et le weekend.
Au début nous avons essayer de faire pour le mieux mais cela devient plus possible car des que mon fils ou ma fille fais tomber un biberon elle tambourine au plafond ou nous envoie toute la famille a la porte. J'ai enlever tout les gros jouets du salon mais cela ne convient toujours pas; son ex mari est encore venu ce matin me menacer d'expulsion si je ne cesser les bruits. Nous ne mettons jamais de musique, les enfants coucher a 20h30 max. Je suis aller déposer une main courante pour harcèlement, j'ai aussi était a l'office hlm qui gère les logements qui ma conseiller d'enlever les gros jouets.
Ma question peut elle arriver a me faire expulser, suis dans l'illégalité?
Merci de prendre le temps de me répondre