Maison remarquable

Bonjour,
La villa de mon voisin est classée villa remarquable sur le PLU de la commune.
Je suis gêné par sa haie et lui ai demandé de la rabattre, lui expliquant être dans mon droit puisque elle se trouve à moins de 2 mètres de chez moi et haute largement de plus de 2metres.
Mais il refuse en me disant que le classement de sa maison protège également ses arbres.
Qu’ en pensez-vous?
D’ avance merci.