Utilisation de tréfonds

J'ai un terrain constructible enclavé, j'ai besoin du tréfond d'un voisin sur lequel nous avons une servitude de passage pour acceder sur ce terrain, cette servitude n'est pas stipulée sur l'acte notarié mais c'est le seul chemin d'accés même pour les maisons derrière chez nous.
Ce voisin me refuse l'autorisation d'utiliser ce tréfond pour aller chercher le compteur d'eau potable qui est en limite de sa propriété.
Est il en droit de me refuser ce passage?