Construction en limite de propriété

Bonjour,
Une construction est en cours actuellement en limite de ma propriété. Le propriétaire ne s'est pas montré très correct jusqu'à présent (refus de faire un état des lieux, mauvaise foi, insultes,.....). J'ai cependant signé "le droit d'échelle" pour le crépis et peinture du garage jouxtant mon terrain. Pour les travaux de charpente et de couverture, les entreprises ont fixé un échafaudage en hauteur (env. 2 m.) et dépassant forcément d'environ 1 m. sur mon terrain (passage sur l'arrière de ma maison) sans me demander la permission. Cela fait 4 semaines et je n'ai rien dit. Voyant ma tolérance, les ouvriers se sont permis de poser l'échelle carrément sur mon chemin : j'ai dû demander pour passer avec ma voiture ..... Ils lancent des emballages et autres chez moi....
Que puis-je avoir comme recours ? Ont-ils le droit de poser un échafaudage en encorbellement sur mon terrain ?
Merci de m'aider.