Probleme de servitude de passage

Bonjour,
J'ai acheté un terrain à construire (j'ai obtenu le permis de construire), pour y accéder j'emprunte une servitude de passage. La personne possédant cette servitude me refuse le passage en me certifiant que mon terrain n'est pas desservi par cette servitude et que par conséquent mon terrain est enclavé ! Par contre, d'après le notaire et les vendeurs du terrain ; j'ai tous mes droits de passer par cette servitude. La personne ayant la servitude demande au vendeur de saisir leur avocat mais quelques jours avant ceci, je suis devenu le propriétaire. Est-ce à moi d'aller en justice? Que faire?
Merci pour vos réponses.