Mon voisin m'accuse...à tort

Bonjour,

Petit problème avec mon voisin du dessous. Un peu long peut être, mais voici le problème :
- J'ai une fille de 17 mois, qui cours de temps en temps à la maison. On la couche à 19h30 le soir, et se lève le matin à 8h00, pour partir à la nounou a 8h20. Je suis conscient qu'elle doit faire un peu de bruit, notamment lorsqu'elle cours de temps en temps.
Mes voisins du dessus ont 2 enfants, qui vont pas mal de bruit, voir beaucoup. Cela ne me dérange pas, puisque ce sont des enfants, et je suis assez compréhensif. Cependant, le voisin du dessous les entend, et m'accuse, et envoie des coups de balai de plus en plus régulièrement.
Il ne me croit pas, que faire?
Il a notamment tapé à 00h00 cette semaine, car les voisins du dessus ont du avoir des invités, qui ont quitté les lieux vers cette heure là, et ont donc fait un peut de bruit. Je suis descendu immédiatement, mais il ne veut rien savoir.

Merci beaucoup pour votre aide, car cela devient problématique.