Construction d'une entré de maison sur un droit de passage

Bonjour,

Je suis propriétaire d'un terrain et sur mon terrain il y a un droit de passage pour trois maisons sur des terrains enclavés.

Mon futur voisin veut faire son entrée de maison sur le droit de passage dans mon terrain alors qu'il a accès à la route.

Le seul argument des futurs propriétaires c'est que : coté route il y a un mur à démolir pour faire l'entrée, et que ce mur est protégé par les architectes des bâtiments de France.
Alors que du coté de mon terrain, sur le droit de passage, il n'y a aucun mur à démolir juste de la terre.

Suis je obligée de dire oui à la construction de l'entrée sur le droit de passage ?
Est ce que les architectes des bâtiments de France peuvent m'obliger à autoriser l’entrée sur le droit de passage ?

d'avance je vous remercie,

Cordialement