Passage sur jardin

Bonjour,

Mon voisin me réclame un droit de passage sur mon terrain pour accéder à son jardin situé à l’arrière de nos maisons. Son droit de passage est bien stipulé dans l'acte de vente. Mais sa maison, ainsi que la mienne, est accessible directement par la rue du lotissement, l'entrée des maisons étant logiquement sur le devant coté rue. Il a depuis plusieurs année clôturé son jardin et m'a même aidé à clôturer le mien sans que cela lui pose problème à l'époque. Il veut m'a t'il dit construire un bâtiment dans son jardin pour faire du B&B. Il a accès à ce jardin situé derrière, par le coté de sa maison sur une largeur de 2m70.
Sa demande est-elle justifié? Puis je refuser cet accès?
Peut-on faire une demande d'annulation de ce droit de passage?

En vous remerciant.