Servitude de passage

Bonjour,
j'ai acquis en 2007 un terrain enclavé desservi par une servitude de passage de 3 m de large. C'est une servitude de passage à pied et en voiture comme indiqué sur l'acte de vente. Le voisin, propriétaire du passage s'oppose à une éventuelle construction que j'envisage de faire en m'interdisant de faire passer les réseaux d'eau, d'électricité et gaz sur son passage qui est en parti goudronné et ne veut pas qu'on carrosse le terrain après la partie goudron en pretextant qu'on ne touchera pas à sa partie "herbe" ce qui du coup empêchera la remontée des véhicules par temps de pluie, le terrain étant en pente.
De plus il n'autorise l'accès à ce terrain que pour les propriétaires, ce qui veut dire que les visiteurs (amis, etc... ) ne peuvent se rendre sur ce terrain pour rendre visite au propriétaire du terrain enclavé.
Pouvez vous me renseigné pour savoir ce que je peux faire, mon notaire me dit que ce voisin est dans son droit, un autre me dit que je peux faire ce que je veux. J'aimerai simplement savoir si je peux défendre ce problème devant un tribunal car aujourd'hui, j'ai l'acheteur pour ce terrain et je suis bloqué à cause de ce voisin.
Merci pour vos réponses.