Vmc bruyante

Bonjour,
Depuis cet été mon voisin d'un bâtiment attenant au mien se plaind du bruit de ma vmc.
Or mes voisins directs n'entendent rien ni moi non plus.
Pour éviter les conflits nous nous sommes mis d'accord pour que ne je fasses tourner ma vmc (seulement entre 19h et 21h et pas le week-end)

Je me vois donc obligé de laisser les fenêtres ouvertes là journée et sans chauffage ce qui devient insupportable à cette période de l'année)
Ce week-end j'ai du a mettre en route et il m'a menacé d'appeler la gendarmerie.
Le ton monte.

A t il le droit de m'interdire d'allumer ma vmc sachant que je suis supposé la faire fonctionner h24 normalement ?

D'avance merci pour votre réponse