Exiger une annulation de servitude ???

Bonjour,
Mon père m'a donné un terrain il y'a 10 ans, assorti d'une servitude de passage. Sur ce terrain j'ai bati 2 maisons. IL s'avère que je veux vendre l'une d'elle, et qu'il m'exige pour la vente de déplacer la servitude de passage... chez le voisin !!!! car il ne veut pas que les futurs acquereurs passent devant SA maison.
Je viens de me rendre compte qu'une servitude ne pouvait pas se déplacer comme ça, peut t'il m'exiger celà ???? Sachant qu'il me fait du chantage, étant usufruitier du terrain à la base, il donnera pas son acccord si on déplace pas la servitude.