Voisin mécontent du bruit d'enfants

Bonjour,
Je suis propriétaire de ma maison et mon garçon joue au ballon dans la cour, il a pour habitude de jouer et faire rebondir le ballon contre le mur. Mon voisin d'à côté, propriétaire de sa cour de 1000 m2 se plaint en disant que le bruit dérange ses locataire qui louent un logement saisonnier et qui ne sont que de passage! Il faut savoir que mon fils n'envoie pas le ballon contre le mur du voisin mais il s'agit du nôtre ! J'ai déjà fait l'effort d'empêcher mon fils d'envoyer le ballon contre le portail car cela résonne ( et ce à la demande de mon voisin), de plus je dis toujours à mon enfant de ne pas jouer au ballon en début d'aprem pour ne pas déranger pour la sieste et le matin c'est rare qu'il joue puisqu'il fait trop chaud. Mon voisin menace de faire des démarches à notre encontre puisqu'on lui dit que notre enfant a quand même le droit de s'amuser dans la cour et que notre fils connait déjà les limites imposées et les respecte.mais le voisin il ne veut pas entendre raison et au contraire nous considère comme de mauvais voisins et que son logement saisonnier c'est son gagne pain et qu'on lui fait mauvaise publicité. Comment faire? Quels sont nos droits? Sommes nous vraiment d'aussi mauvais Voisins?
Merci d'avance pour votre réponse