Tapage nocturne dans un immeuble

Bonjour,
voilà je vis avec mon copain en location dans un immeuble d'une résidence calme depuis 2ans, nous aimons recevoir des amis et fumons sur notre balcon (malheureusement une chambre se trouve juste au dessus).

Des nouveaux voisins viennent d'arriver dans l'appartement du dessus et se sont pleins de notre bruit (on même fait venir la police qui n'a pas constaté de tapage), se sont les premiers a se plaindre depuis notre arrivées.

Nous avons donc essayer de faire moins de bruit lorsque nous sortons sur le balcon, nous avons également réduit les petites soirées entre amis (qui se passé et se passe sans musique forte).

Mais voilà qu'hier le voisin nous interpèle sur le parking et se plaint limite agressif, il nous dit qu'on a réveillé sa copine là veille au soir à minuit... La veille nous n'étions que trois dans l'appartement nous sommes effectivement sorti fumé un peu avant minuit mais n'avons pas fait de bruit excessif juste un peu discuter normalement et cela n'a duré que le temps d'une cigarette!

Dois-je m'inquiéter des suites possibles? Dois-je renoncer à sortir fumer sur le balcon?