Fixation d'un portail sur un pilier appartenant a mon voisin.

Bonjour,

Mon voisin m'a avait demandé par le passé, si son portail fixé sur mon pilier me gênait, portail fixé avant que je n'acquière ma maison sur ce pilier appartenant à celle ci, donc privatif.
Je lui avait répondu que cela ne me dérangeait pas.
Je préférais rester en bon terme avec celui-ci.

Je lui ai verbalement informé il y a de cela quelques semaines, que j'allais supprimer mes murs et piliers devenus trop vieux et disgracieux par leurs tailles et aspects, ceci afin de refaire plus harmonieux et modernes.

J'ai eu la désagréable surprise hier matin de voir mon voisin fixer son portail sur mon pilier sans m'en demander l'autorisation. Quels sont mes droits, comment dois procéder.
En vous remerciant par avance de vos réponses.

Cordialement