Litige de poteau avec mon nouveau voisin de gauche

Bonjour mes nouveaux voisins ayant acheté depuis peu leur maison, crée un conflit autour d'un poteau qui se trouverait sur leur terrain ... très pointilleux pour tout ont été jusqu'à rendre 5 cm ligne de terrain, à leur autre voisine.
pour cela ils ont fait venir un géomètre expert qui nous demande conciliation.
effectivement ce poteau contiguë à notre clôture est sur leur terrain je pense.
Mais il est a savoir qu'a 'l'origine des ces constructions de bien plus de trente ans ( notre maison est la 1ere a un siècle), ce poteau existait déjà tel qu'il est et que la divisons des terrains s'est fait entre membre de la même famille, sans que ce poteau ne soit remis jamais remis en question, et les précédents occupants qui ont construits leur maison dans les années 1970 et ont créer leur clôture juste après ce poteau. J'avais obtenue l'accord oral de le rénover ( crépis même couleur que notre maison, comme cela était le cas avant notre arrivée, mais dans un triste état) de l'ancien propriétaire, car si je l'avais cassé il se serait retrouver avec un trou dans son terrain. et je ne voulais surtout pas déranger mes voisins alors très âgés.
je précise qu'hormis ce fameux poteau je n'empiète nullement sur leur propriété et avant eux ai vraiment voulut faire les choses pour déranger le moins possible…
j'ai des photos antérieure à notre arrivée qui montre que ce poteau et les autres clôtures ont toujours été là et les témoignages des neveux petits enfant ayant connu notre maison depuis tjrs... et voila que maintenant il veut que je le détruises pour refaire sa clôture, au risque de fragiliser la notre.
mes questions sont:
1.est il en droit de le détruire sans mon autorisation? ce qui vraiment me casse les pieds
2.ce poteau ayant toujours été là avant qu'il en devienne propriétaire, et n'ayant pas été relis en cause par les anciens propriétaires , au motif de la prescription de plus de 30 ans, est il à nous?
il a demander une conciliation auprès d'un géomètre expert pour la semaine prochaine, si je ne donne pas de suite du tout que peut il se passer pour nous?
Merci de vos lumières. ci joint une photo pour être plus explicite.
merci bcp de vos réponses.