Mon voisin repand des propos diffamatoires à mon encontre

Bonjour, je rencontre un cas delicat avec mon voisin, un homme seul comme moi mais qui à 10ans de plus et il cherche à me dominé et se compare à moi à tout les niveaux et cela tourne au combat de coq. Au début,on se parlait normalement et nos rapports de voisinage étaient bons, on à fait connaissance et puis un jour il à changer du jour au lendemain et à développer un comportement vraiment bizarre et il s'est mis à m'accuser de pleins de choses jusqu'à allez repandre des rumeurs dans la ville sur ma personne et mo éducation,ma vie, mon intimité, ma sexualité auprès de femmes etc, et puis comme il n'ose même plus m'affronter en face, si je met un peu la musique, au lieu de venir frappé a ma porte et me dire de baisser tout simplement, bah non, il appelle la police systématiquement et je commence à perdre mon calme à force de recevoir des amendes... ça fait 4ans qu'il aurait du déménagé mais il est complètement paumé ce pauvre type, qu'est ce que je peux faire ? Car j'ai envie de me faire justice par moi-même...