Hauteur mur en pente

Bonjour,
Je vous écris car j'ai fait l'extension et la surélévation d'un mur existant au fond de mon jardin me séparant de mon voisin, ce mur est en limite de propriété mais m'appartient (il n'est pas mitoyen).
Le terrain est en pente et le voisin derrière moi est donc plus bas que moi.
Après construction du mur le voisin vient me voir et me dit que visiblement le mur est trop haut et de me renseigner à la mairie.
Je ne savais pas qu'il fallait faire une demande de travaux ce que je vais donc faire après coup, et après vérification le PLU indique une hauteur de clôture de 1,8m.

Ma question est donc quel côté fait foi pour la hauteur du mur par rapport au PLU, car j'ai vu des sites indiquant que c'est le point le plus haut (donc de mon côté, il est d'environ 1m65), ou bien du côté du voisin (environ 2m20), et la mairie par téléphone me dit que c'est par rapport au terrain naturel. Là encore c'est flou car par rapport à mon voisin de droite je suis au même niveau ce qui pourrait faire penser que c'est le terrain naturel, mais par rapport à mon voisin de gauche je suis plus haut...

Je précise que vue du voisin ce mur ne donnait que sur une cour avec vue sur notre maison et notre terrasse et que lui a sa terrasse derrière sa maison donc ça ne gêne pas à mon sens, ni le soleil puisque c'est sa face Nord.

Merci d'avance pour votre aide.