Réduction de loyer cause travaux en extérieur

Bonjour,

Nous sommes locataire d'une maison individuelle, avec un jardin clos. Nos propriétaire font régulièrement des travaux de tous ordre depuis deux ans, cette fois ci ils rénovent les chéneaux, et une partie du toit. les travaux dureront de 15 jours à 3 semaines. Pendant ce temps nous devons vivre avec des ouvriers autour de la maison de 9h à 15h30 non stop, qui donne des coups de marteau continuellement, ainsi que les propriétaire , qui surveillent les ouvriers !!!!
Bref, losque je demande une baisse de loyer pour la gène occasionner, ils me répondent que non puisque ils sont à l'extérieur de la maison !
Qui a raison ????
Merci d'avance pour votre réponse.