Brise-vue sur grillage mitoyen

Bonjour,
J'ai acheté une maison qui est mitoyenne des 2 côtés, avec murets de 0,78 m puis grillage de 1m par dessus. A la visite et au compromis, il y avait la présence d'un brise-vue en bambou fixé de mon côté (donc pas de visibilité sur le jardin des voisins).
Le lendemain de la signature définitive (je n'ai pas pu faire de visite juste avant étant absente), à mon arrivée, j'ai la surprise de voir que le brise-vue avait disparu.
A ma demande de renseignements au voisin, ils me répondent que ce sont eux qui l'ont retiré parce que...moche, en mauvais état....
M'en étonnant, je leur dis que je souhaite donc en remettre un étant donné que j'aime être à l'abri des regards et que la maison aurait du rester "en l'état" suite à la signature du compromis et qu'ils n'auraient pas du prendre l'initiative de le retirer sans autorisation.
Ils me disent qu'ils ne sont pas d'accord.....que ça va être moche, que ça abîme le mur...je vous passe les détails de leur agressivité !
Aujourd'hui, j'ai reposé un brise-vue et j'ai eu droit à une réaction très agressive, menace de tout retirer à nouveau......et propos agressifs bien sûr.
Que puis je faire ? et quels sont mes droits précisément ?