Droit de passage sans servitude

Bonjour,
J’habite dans une maison de village avec plusieurs appartement.
J’ai un escalier qui desserre mes appartements.et également la maison voisine sans servitude
Le nouveau propriétaire qui vient d’acquérir la maison voisine , a également une maison divisée en plusieurs appartements mais l’appartement qu’il occupe à sa propre entrée indépendant, il s’est présenté pour demander le droit de passage pour deux appartement car à l’origine il n’y avait qu’un seul accès desservant les deux maison
Est-ce possible de faire annuler ce droit de passage .
Merci