Servitude de passage

Bonjour,
Je suis propriétaire d'un verger et j'ai une servitude de passage sur la parcelle du voisin.
Voilà ce qu'il y a écrit sur mon acte de vente :
Mr......., cessionnaire, confère à titre de servitude réelle et perpétuelle, au profit de la parcelle cadastrée sous le n° ... ( la mienne ), un droit de passage à pied et avec tous véhicules, permettant l'accès au chemin sis à l'OUEST de la parcelle licitée, qui s'exercera sur une largeur de trois mètres le long de la limite SUD et de la limite OUEST de la parcelle cadastrée sous le n°..., celle du voisin faisant l'objet des présentes.
L'assiette de ce droit de passage devra être laissée constamment libre à la circulation et ne jamais être encombrée par des dépôts de quelque nature qu'ils soient ou par des stationnements de véhicule.
J'ai un plan annexé qui précise le chemin de 3 mètres de largeur ainsi que précisé dessus "droit de passage".
Mon souci est qu'il n y a pas de chemin et quand je demande au voisin, il me dit que c'est à ma charge de le faire. Donc je lui répond, que je veux bien le prendre à ma charge mais le problème c'est que je n'ai pas les trois mètres pour faire un chemin car il y a sa terrasse en hauteur d'un talus et que si on creuse, la terrasse va s'affaisser. Je suis un peu coincé car je ne peux pas faire de travaux sur le terrain de mon voisin et que si il y a un probleme d'affaissement, ce sera a ma charge.
JE voulais préciser également que le chemin n'a pas été fait lors de la construction de sa maison donc je voulais savoir si ce n'était pas à lui de le faire quand il a construit sa maison...
Merci d'avance.