Droit de passage

Bonsoir,
J'ai un différent avec mon frère car du temps ou ma mère était en vie, il a construit une maison dans le verger familial. Il y a 15 ans j'ai acheté la maison de ma mère après son décès et sur l'acte de vente il est précisé que j'ai une servitude de passage sous la parcelle de mon frère pour accéder à mon verger.
A ce jour, j'ai l'intention de construire une maison dans mon verger mais le souci c'est que quand mon frère a construit sa maison il y a environ 20 ans, il n'a pas fait le chemin du droit de passage et vu que je n'en avais pas l'utilité, je n'ai jamais rien demandé et en plus quand je suis passé devant le notaire avec mes frères et soeurs pour signer l'acte de vente, le notaire m'a précisé que les frais étaient a ma charge si je voulais un chemin donc je n'ai jamais cherché à me renseigner plus sur le sujet.
Mais à ce jour, mon frère me dit qu'il veut faire le chemin mais en terre et qu'il ne veut pas faire plus de frais car le chemin ne servira qu'à moi. Mais quand je lis différentes lois..je peux accéder avec tous types de véhicules et en plus si je fais des travaux de construction, les entreprises ne vont pas pouvoir accéder à ma construction si c'est de la terre sur le chemin.
J'aimerais savoir si mon frère doit faire le chemin en mettant du tout venant afin que l'on puisse passer avec les engins de chantier ou si c'est à ma charge comme il me le dit.
Merci d'avance pour vos réponses.