Accusations de la part d'un voisin violent !

Bonjour,
Je rencontre des soucis avec mon voisin du dessous qui m'accuse de faire du bruit la nuit ou à 5h du matin et apparemment sa femme a tapé au plafond et que j'ai même répondu en faisant encore plus de bruit.
Or dans les horaires qu'il signale il n'y avait aucun bruit chez moi et tout le monde dormait. Je me suis couché à minuit et réveillé à 8h du matin car il utilisait sa perçeuse !!
Aujourd'hui il a tapé à ma porte j'ai ouvert pour demander ce qu'il se passe et il m'a accusé de faire sans arrêt du bruit et d'empêcher sa famille de dormir.
J'ai essayé d'expliqué que chez moi il n'y a aucun bruit et que ça doit venir de chez quelqu'un d'autre mais monsieur est très décidé il n'a voulu rien comprendre, en me disant "je sais que j'ai raison et que ça vient d'ici, t'insinue que ma femme est folle ? etc..." en gros il n'était pas venu pour discuter mais plutôt pour m'agresser car il me parlait avec violence et vulgarité. Un moment j'ai failli en arrivé au main car j'en pouvais plus de ses mensonges et d'avoir l'impression de parler dans le vide, même quand il est monté il prétendait que le bruit continuait alors que chez moi c'était le grand silence.
Ce n'est pas la première fois qu'on s'engueule avec ce voisin qui m'avait déjà accusé à 3 reprises il y a de ça 4 mois puis avait finit par s'excuser comme quoi ça venait des locataires en face.
Là il recommence et il n'a pas l'air net dans sa tête j'aimerais savoir si d'autres personnes ont rencontrés un problème similaire et qu'est ce qui peut être fait pour pouvoir m'en débarrasser et éviter qu'on finisse par se rentrer dedans. Je ne sais pas trop quoi faire parce-qu'en plus d'être un menteur il ne semble pas être dans des affaires très licites, je n'accuserait pas à tord mais c'est l'impression qu'il donne et j'ai peur d'avoir encore plus de problèmes avec ce type si ça continue.