Reouvrir un droit de passage

Bonjour,
il y a 20 ans j'ai acheté un terrain enclavé et un proprietaire voisin a negocié un droit de passage le long de sa propreité sur 60 m pour acceder à ma parcelle . en accord avec lui j'ai fais la cloture entre ma cervitude et son terrain et mis un portail au debut de l'allée . lui avait une entrée pour sa villa et n'a jamais emprunté la cervitude car elle ne va que chez moi .il n'en a pas besoin . aujourd'hui il a vendu sa villa et le nouveau proprietaire veut me faire deplacer le portail tout simplement parce qu'il est au debut de la cervitude . j'ai terrassé la route fait goudronné , cloturé ,parlophone , la totale . qu'a t il le droit de faire ? s'il a le droit de me faire deplacé le portail et qu'il a comme excuse seulement de vouloir passer sur son terrain pour aller nulle part puis je lui demander une indemnité pour tous les travaux que j'ai effectué ?