Poteau pas vraiment en mitoyenneté

Bonjour,
Je suis propriétaire d'une maison depuis 15 ans qui appartient à ma famille depuis 1955. Nous avons depuis quelques années de nouveaux voisins pas très "amicales", bref à part "bonjour" , "bonsoir" rien.... Bref.
Ils ont plantés en mitoyenneté ( à moins d'un mètre du mur) des bambous, palmier et autre Houx. Je lui ai demandé sans agressivité, s'il pouvait tailler ces arbres, en particulier le Houx, car toutes ces feuilles tombent dans mon jardin ( empiète d'un bon mètre et dépasse les 3m de haut) et je me pique les mains à chaque fois que je jardine dans mon potager.
A priori, ca ne lui a pas plus car il m'a accusé d'avoir peint un poteau "en mitoyenneté" sans lui avoir demandé sa permission.
Pour éclaircir la situation, je précise que ma clôture de façade ( 4 poteaux, soubassement, portail, portillon et grillage donc la totalité) a été repeinte l'été dernier. L'intégralité de cette façade a été construite et monté par mon grand-père dans les années 60. A cette époque, il n'y avait pas de bornage et il a été construit (à tort) à coté de la première clôture existante ( un grillage). Mais c'est vrai que le poteau qui fait polémique est en réalité mitoyen maintenant. Nous n'avons jamais eu de soucis avec les précèdent voisins. Ils ont même refait une clôture avec des poteaux un peu près identique au nôtre, et en fixant leur portail à notre poteau. Je n'ai pas de document attestant de ce fait mais mon voisin d'en face peut confirmer ces dires. Malgré cette remarque, il n'en démord pas et veut que je le prévienne à chaque fois que je veux faire quelque chose dessus!
A t il le droit de bloquer d'éventuel travaux sur ce poteau? Quelles sont mes droits réels? Peut il lui repeindre mon poteau? Il est légèrement détériorer de son coté à cause de son portail qui doit faire les travaux?
Je vous remercie pour vos réponses.
Cordialement.