Gites et droit de passage

Bonjour à tous,

Je suis propriétaire d'une moitié d'une maison coupée en deux. (La maison est organisée autour d'un couloir central qui la divise en deux : nos voisins ont un côté et nous l'autre). Je suis aussi le propriétaire du couloir central : mes voisins n'y ont qu'un droit de passage. Hors mes voisins vendent à des gens qui aimeraient en garder une partie comme résidence de vacances, mais surtout faire un gîte dans l'autre partie.
Je me demandais si ils peuvent le faire sans notre autorisation, ou si le gîte ne peut être créé qu'avec notre autorisation, vu que les gens qui loueront le gîte passeront forcément par chez nous, dans le couloir central qui nous appartient(, hors si les voisins ont bien le droit de passage, les locataires, eux, ne l'ont pas).

J'ai pris la précaution de chercher sur internet si je trouvais la réponse à ce sujet mais pour l'instant je n'ai rien trouvé qui concerne la permission de construire un gîte alors qu'on ne possède qu'un droit de passage sur le chemin d'accès au futur gîte.

Est-ce que quelqu'un connaît la réponse ?
Mes sincères salutations à tous...

PS : demandez plus d'infos si je n'ai pas été assez clair, je peux vous faire un schéma précis de la situation si le besoin est.