Faire demonter un partie du portail voisin

Bonjour,
je suis proprietaire depuis plus de 11 ans ,sans jamais de problemes avec mon voisin cependant depuis quelques temps il a decidé de me faire la guerre pour de broutilles .
j ai remarqué que son portail fait de bric et de broc etait fixé sur une pillasse m appartenant ,puis je lui faire enlever c ette partie sachant que vraisemblablement cette instanlation remonte au temps de l ancien proprietaire de ma maison qui lui en a peut etre accordé le droit suis je obliger de faire de meme
quelqu un m a dit que comme l instalation remonte a plus de 20 ans je ne peux rien faire
merci de m eclairer sur la question