Histoire de mur

Merci de m'aider à me dépatouiller de cette histoire.

Mon jardin est d' environ 1 mètre plus faut que celui de mon voisin. Pour soutenir la terre il y avait un très vieux mur en pierres sèches. Sur le cadastre le mur n'apparait ni mitoyen ni la propriété de l'un ou de l'autre.
Il y a 20 ans quand j 'ai acquis ma maison mon voisin a demandé à pouvoir refaire ce mur qui s'effondrait par endroit. Il l'a donc entièrement reconstruit sur la base de l'ancien mur. Je l 'avais alors autorisé verbalement.
Maintenant il ne m'autorise même plus à poser quoi que ce soit sur ce mur (même un caillou) en prétextant que comme c'est lui qui l'a reconstruit il est à lui. Il me reproche même d'avoir installé des rondins de bois et du fumier contre son mur (ces rondins et ce fumier sont juste là pour faire une couche )

Qui peut m'aider dans cette guéguerre que je trouve pitoyable.