Bruit isolation

Bonjour,
Je vis dans un appartement en 2ème étage en location, après avoir signé le bail et déménagé avec ma famille, le voisin du 1er étage monte me voir 3 fois par semaine pour se plaindre du bruit, selon lui il entend le moindre bruit(quand je marche, quand je fais mon ménage, si une télécommande tombe par terre... Etc).
On a contacté le propriétaire pour qu'il rentre en contact avec ce voisin qui nous harcèle. Apparemment le propriétaire a reconnu sa faute de ne pas faire des travaux d'isolation du sol. Un expert est venu la dernière fois pour prendre des mesures pour des futurs travaux.
Appartement le devis était trop cher pour le propriétaire, ce dernier a laissé tomber sa promesse.
Le voisin du 1er étage m'a invité de porter plainte à deux contre le propriétaire et d'arrêter de payer le loyer car selon lui on est tous les deux victimes dans cette situation.
Ma question est la suivante : est ce que je peux m'associer au voisin dans cette démarche et d'arrêter de payer mon loyer ?
Merci