Me proteger des voisins

Bonjour, voila environs 2 ans que j'ai emménager chez ma compagne avec qui j'ai un enfant, mes voisins nous font vivre un enfer, celui du dessus qui fait énormément de bruits même la nuit et celle du dessous qui cris a tous les locataire que je serais un fou violent qui frappe ça femme. Certe ont peut faire du bruit notre agence de location nous avais prévenu que le logement était vieux et mal isoler au niveau du bruit, mais nous faisons attention tous de même.

j'aimerais porter plainte pour diffamation mais le problème es que je n'ai pas de preuve matériels car ils font bien attention de ne rien dire quand je passe , ils le cris juste de temps en temps bien fort dans les parti commune et le raconte au autre voisins , quelle sont mes recours ?

merci a ceux qui me conseillerons !!!