Troubles de voisinage

Bonjour à tous,
je suis face à une impasse. Je vis seule avec mes 2 filles de 5 ans et 2 ans 1/2. Depuis 4 ans le voisin qui vit en dessous de chez moi se plaint du bruit qui sort de chez moi. La 1ère fois, il venait d'arriver, il est monté le week-end se plaindre de la musique et quand mon compagnon s'est excusé, il l'a attrapé au cou en le poussant chez nous et lui a dit qu'il en avait marre, que ce n'était pas la 1ère fois et que si ça continuait il viendrait régler ça avec ses collègues. Mon compagnon lui a alors fait un balayage pour le repousser dans le couloir et lui a juste répondu qu'il venait d'arriver et qu'il n'allait pas commencer à faire sa loi. Nous n'avons pas porté plainte à l'époque car nous ne voulions pas faire d'histoire et comme il est venu s'excuser le lendemain.... Mais dans la semaine il a interpellé mon compagnon qui rentrait du boulot pour lui dire qu'il me demande d'arrêter de bouger les chaises toute la journée. A l'époque nous étions tous les 2 avec notre bébé et nous ne mangions pas à la cuisine mais au salon sur le canapé, les seules fois qu'il m'arrivait de bouger une chaise c'est lorsque je passais l'aspirateur et encore bien souvent je passais entre les pieds, mais bon afin de ne pas créer de problèmes, nous avons acheté des patins en mousses. Par la suite il s'est plaint de notre fille qui selon lui courrait de long en large dans l'appartement et ce toute la journée. Ma fille avait entre 15 et 18 mois à cette époque, elle faisait la sieste matin et après-midi et même je ne la laissais pas courir comme ça. Ce voisin a donc pris l'habitude de taper dans les murs au moindre bruit et c'est permis à plusieurs reprises de venir nous agresser verbalement chez nous et ce devant notre fille qui en a été traumatisée au point que j'ai dû partir presque 3 mois chez mes parents ca elle tremblait sur place dès qu'elle entendait un bruit. Elle nous disait "le monsieur il va me taper", elle avait à peine 2 ans. Bref là encore j'ai pris sur moi de partir régulièrement chez mes parents avec ma fille et mon compagnon quand il avait des vacances, mais bon moi je partais toutes les 2 ou 3 semaines et ce pendant plusieurs jours; j'ai acheté des chaussons chaussettes à ma fille afin que la semelle ne fasse pas trop de bruit et même nous avons fait l'effort d'être toujours en chaussons. Les plaintes ont cependant continué, portes qui claquent alors qu'avec ma fille en bas-âge j'avais des calles portes partout. Entre temps nous avons eu un 2ème enfant et là mon compagnon a dû partir à l'étranger donc je me suis retrouvée seule. Cet homme me fait peur. Il tape tout le temps dans le mur, m'interpelle dans le couloir pour se plaindre ou vient me crier dessus à mon appartement et ce devant mes filles. Ils dit que mes filles courent, sautent, crient toute la journée, tous les jours. Il travail de nuit et dort dans le salon car les chambres donnent sur la rue et que nous vivons dans un immeuble en plein centre ville dans une rue commerçante. Ma fille aînée va depuis 2 ans à la maternelle et la 2ème et seule avec moi. Le matin elle regarde des DVD, des livres ou fait des puzzles ou des dessins et l'après-midi elle fait la sieste. Les seuls moments où il y a du bruit c'est l'heure du repas et de 16h30 à 20h et encore car là il y a le goûter, la douche, le dîner, la préparation avant d'aller au lit donc je pense quand même qu'il pourrait y avoir une tolérance pour le reste. Je leur ai supprimé tous les jouets et jeux bruyants, tout est chez ma mère, elles regardent toujours par la fenêtre si elles voient sa voiture sur le parking avant de jouer au salon sinon elles jouent toujours dans leur chambre. Je me suis arrangée avec ma mère afin d'aller chez elle tous les week-end et toutes les vacances scolaires et malgré tout cela il se plaint encore. La dernière fois qu'il est venu sonner chez moi ma mère a voulu discuter avec lui mais il l'a agressé aussi. Moi je crie sur mes enfants aux moindres bruits qu'elles émettent car je stresse de le voir. On a était entendu par notre logeur, on a fait une médiation mais rien n'y fait. Moi je suis à bout. Je n'ai pas les moyens de partir. J'ai déposé une main courante la dernière fois qu'il est venu agresser ma mère et après m'avoir entendu l'agent de police m'a dit de ne pas hésiter à revenir si un nouveau fait devait arriver et que je n'avait pas faire tout ce que je fais car il y a un minimum de bruit à tolérer et surtout en appartement. Lors de la médiation que j'ai faite avec lui il m'avait dit avoir une pétition signée par tous les autres locataires alors que personnes ne m'a jamais rien dit, il m'a dit qu'il avait engagé un détective privé et qu'il avait enregistré le bruit qui venait de chez moi. Là j'ai reçu un courrier du bailleur pour dire qu'il a était saisit d'une pétition disant que plusieurs voisins se plaignent du fait que mes filles courent et crient toute la journée dès 7h du matin. Je suis montée voir la voisine qui vit au dessus de chez moi pour savoir si elle avait signé car j'estime que d'abord elle aurait pu me dire si quelque chose la dérangeait surtout que moi aussi je subi le bruit qui vient de chez elle mais aussi pour savoir quelles nuisances exactement elle avait à me reprocher. Elle m'a dit qu'elle avait signé la pétition et quand je lui ai dit que chez elle aussi il y avait du bruit elle m'a refermé la porte au nez me disant qu'elle et sa fille ne sont jamais là et que je me décharge bien sur elle. Ensuite elle est descendue pour dire qu'elle avait signé pour un ensemble de nuisance comme le fait que mes filles pleurent le soir et que je crie. Moi je crie car je suis à bouts, mes filles pleurent parfois le soir pour aller au lit....ce ne sont que des enfants. Tout ce qu'il reste c'est qu'elle signe une pétition pour se plaindre du bruit que mes filles font la journée tout en me disant que la journée elle n'est pas là. C'est ce voisin qui a fait passer la pétition avant les vacances d'été alors qu'il disait l'avoir avant 2014. La dame qui vit dans l'appartement en face du mien m'a dit à 2 reprise qu'il lui avait dit que nous étions bruyants et agressifs envers les voisins. Il fait toujours des sous-entendus sur mon couple et mon compagnon juste histoire de me faire de la peine. Moi honnêtement je n'en peux plus et je voudrais savoir quoi faire? Mon logeur c'est que cet homme est agressif puisqu'il l'est lorsqu'il va se plaindre dans son bureau, il sait qu'il l'est aussi avec moi puisque nous avions tenté une discussion tous ensemble en bas de notre immeuble, malgré tout on me demande de faire encore et toujours plus et on me menace de contentieux. Moi je suis en HLM parce que je suis seule dans un F3 avec mes 2 filles. Lui il est seul dans un F3. Il travail de nuit donc moi je ne dois pas vivre? Je voudrais savoir ce que je dois faire, ce que je peux faire. Le bailleur n'a fait aucune enquête. Est-ce normal? Pourtant c'était facile de vérifier puisque selon lui mes filles crient, courent et sautent toutes la journée, tous les jours dès 7h. La pétition c'est pareils ils n'ont pas vérifié? Moi ça m'a pris 5 minutes de discussion pour voir qu'une voisine qui a signé pour se plaindre se vente de ne pas être là aux heures concernées par la plainte. Je vais aller me renseigner pour déménager mais si quelqu'un peut m'aiguiller....merci d'avance.