Mur voisin / pose de brises vues

Bonjour,
Nous sommes propriétaires d'une maison et sommes voisins d'une autre maison.
Un mur d'env 3m de hauteur nous sépare. Le voisin se situe sur le terrain du dessus et plonge sur notre jardin.
Nous supposons que c'est un mur de soutènement .
Nous avons évoqué l'idée de poser des brises vues en s'appuyant sur ce mur le faisant ainsi plus haut de 1.80m hauteur approximative des brises vues.
Cette pose se ferait en façade du mur donnant sur notre jardin afin de retrouver une intimité (d'autant que nous avons une piscine]).Il n'est pas prévu de se poser sur ce mur mais juste de s'y appuyer en limite de propriété.
Un accord verbal avait été validé en juillet dernier.
Par courtoisie, nous avons fait parvenir un courrier au dit voisin pour le prévenir du début des travaux et lui confirmer son accord.
Le matériel a donc été commandé et les ouvriers ont démarré le travail mais les voisins ont changé d'avis et nous menacent de tout casser.
Qu'en est il ?
Merci pour votre réponse.