Plaintes intempestives.

Bonjour à tous,
Voici mon problème. Mon colocataire et moi avons emménager dans un appartement en octobre 2014. Nous avons alors décidé de faire une crémaillère; toutefois une de nos voisines est venu se plaindre du bruit. Nous avons alors cessé immédiatement la fête. Deux semaines plus tard nous avons de nouveau réalisé une fête chez nous. Je tiens à dire qu'il s'agissait de fête sans musique, sans télé et plutôt "soft". Une voisine de l'immeuble adjacent est venu se plaindre (elle tapait déjà sur le mur de notre salon, notre appartement étant mitoyen à deux immeubles). Étant de nature sanguine je l'ai envoyé balader sans être insultant ( mes mots : " ça me soule je me casse") et mon colocataire a dû calmer cette dame. A partir de la nous avons reçu quelque fois, quelques amis sans pouvoir caractériser cela de fête ( nous étions au maximum 4 et nous jouions aux cartes et regardions la télé jusqu'à 23h30). En début d'année 2015 mon propriétaire a reçu un mail de la part du syndic mentionnant que nous faisions des fêtes tous les jours jusqu'à 5 heures du matin, et mentionnant également l'incident avec la voisine en octobre. Beaucoup de fêtes ont eu lieu dans un de nos immeubles mitoyens et je pense qu'on nous a tout mis sur le dos. On nous a même reproché d'avoir fait une fête un jour ou nous n'étions pas à la maison.
Nous avons donc fait profil bas en essayant de minimiser au maximum le bruit; nous habitons au RDC, portons des chaussons, ne faisons pas les fous à pas d'heure... Tout allait bien jusqu'à ce que aujourd'hui notre propriétaire reçoive un mail disant que nous avions recommencé a faire la fête. Nous avons effectivement accueilli pour une nuit un ami revenu d'Irlande et avons bavardé avec lui jusqu'à 6h du matin ( effectivement nous sommes en tord là) mais il s'agissait de la seule nuit depuis au moins 4 mois et je précise que nous sommes resté à regarder la télé tout en parlant.
En bref nos voisins utilisent le moindre prétexte pour nous coller tous les problèmes de l'immeuble sur le dos. Nous reconnaissons avoir une ou deux fois dépassé les bornes mais nous ne supportons plus d'être les boucs émissaires de vieux voisins aigris dont l'unique but dans la vie est d'emmerder le monde.
Je tiens à préciser que nous n'avons reçu aucune visite de la police et hormis les deux voisines étant venu nous parler au début nous n'avons jamais reçu directement de plaintes.
Tout d'abord je voulais savoir si mon propriétaire pouvait rompre mon bail sur des faits non actés ?
Je voulais aussi savoir quelles solutions vous me conseiller ? Puis-je porter plaintes pour diffamations ou harcèlement ?
Mon colocataire voulait également placer un décibel mètre dans notre salon; est-ce utile ?
Merci d'avance pour vos réponses.
Cordialement.