Problème d'isolation phonique avec le voisin

Bonjour à tous, 

J'ai recherché sur le site et je trouve des réponses mais pas à 100%. Voici le contexte:

J'ai emménagé dans un appartement situé dans un quartier central, j'ai des bars et des restaurants dans ma rue.

Mon voisin est venu me voir deux fois concernant le bruit, la première fois j'étais avec des amis nous étions 4 et nous n'avions pas de musique on discutait juste et tout le monde est parti à 1h, une information qui a de l'importance à mes yeux c'est que c'était un vendredi soir et c'était le 29 décembre 2023.

La deuxième fois, il est venu me voir à 21h30 un samedi pour me demander de baisser le son, je lui ai fait constaté que sur le pallier on entend strictement rien, je demande tout le temps aux gens d'enlever leurs chaussures et de fermer les portes pour ne pas déranger les voisins. Il me répond "si on change de bâtiment c'est sur qu'on entend rien" alors que c'est notre pallier commun...

En vient une discussion un peu agité, il m'explique que le problème vient du mur mitoyen, de mon côté c'est l'espace salon/cuisine et de son côté c'est un bureau donc pas sa chambre.

Info importante: mon salon ainsi que son bureau donne sur la rue qui est bruyante tous les jours et le soir parce qu'il y a des terrasses. Et les chambres se trouvent de l'autre côté, côté cours ou il n'y a pas de bruit.

Je suis un peu démuni car je ne fait jamais rien chez moi et ils m'empêchent clairement de vivre, je lui ai dis que s'il me disait à 23h que le bruit le dérange je m'excuserais et je ferais attention, mais à 21h30 un samedi alors que je sais qu'il ne travaille pas le week end et a aucun moment il m'a demandé de baisser la musique parce qu'il travaille et/ou se lève tôt je trouve ça injuste.

Pouvez-vous m'aider ? 

Je lui ai proposé d'écrire a son propriétaire pour qu'il fasse des travaux, pour l'historique ce monsieur habite dans cet immeuble depuis plusieurs années et il a fait la même guerre à tous les locataires précédents. S'il avait envie de régler ce problème il aurait pu le faire depuis des années. Autre chose importante, je ne suis pas étudiant, je travaille et j'ai la trentaine et je ne fais pas de soirée chez moi tous les week end.

Merci par avance pour votre aide.