Servitude de passage et poteaux impactés

Bonjour,

Nous avons acheté un terrain comprenant une servitude de passage pour notre voisin . Sur le plan de division approuvé par les deux partis figure le tracé de la servitude ainsi que notre portail et piliers impactés sur l'assiette de la servitude, c'est donc notre entrée et celle de la servitude. Pendant 2 ans il en ont usé pour sécuriser leur terrain et aujourd'hui après avoir posé leur propre portail en bout de servitude sur la même assiette ils nous demandent de supprimer nos piliers à l'entrée car ils sont implantés sur l'assiette de la servitude ! Sont-ils dans leur droit et si oui à qui incombent les frais?

cordialement.