Droit de Passage abusif?

Bonjour,
Mon voisin a un terrain derrière sa maison auquel il accède par chez moi, donc il a un droit de passage notarié pour ce terrain. Mais voilà il utilise ce passage comme son entrée principale alors qu'il a déjà une entrée indépendante.
Il profite de ce droit de passage pour le terrain auquel il a fait quelques escalier pour accéder a sa maison pour l'utiliser comme entrée principale. En a t-il le droit? Peut-il faire passer ses invités par chez moi alors qu'il a son entrée ailleurs?
Merci de votre réponse.