A qui appartient le chemin

Bonjour,
Il y a 8 ans j'ai acheté une maison et une parcelle attenante. Enclavée au fond de cette parcelle il y a un petit terrain avec une bâtisse (ancienne exploitation d'une source). Un chemin partant de la route traverse mon terrain pour la desservir .
Aujourd'hui le propriétaire de la bâtisse veux goudronner le chemin pour pouvoir la louer. Je me suis opposé à son projet car pour moi comme me l'avait précisé le notaire, je suis propriétaire du chemin et il n'a qu'un droit de passage! Le problème c'est qu'il affirme que ce chemin lui appartient.
Dans la désignation des biens de mon acte de vente ma parcelle est référencée entièrement . Sur le cadastre, pas de trace de chemin.
Voici deux paragraphes de mon (et du sien) acte de vente (servitudes) qui pour lui sont la preuve que c'est son chemin:
Servitude datant de 1867 lors de l'acquisition de la source:
"pour arriver à la source Msr......... acquéreur pratiquerait à ses frais dans la prairie de Msr ..... un chemin large de deux mètres, partant du point appelé Planassou à côté de la route départementale............"

(Pour moi, ça prouve juste le droit de passage.)

Servitude datant de 1934 lors d'un convention entre mon ancien propriétaire Msr X et l'ancien propriétaire de la source Msr Y:
"Pour l'exploitation de ses terres Msr X (moi) aura le droit de passage sur le chemin appartenant à Msr Y ......."
(il faut savoir que ce chemin pourrait en désigner un autre ne passant pas dans ma parcelle et que l'ancien propriétaire possédait d'autres terrains).

A qui appartient ce chemin?
Est ce que ces deux servitudes sont une preuve que ce chemin lui appartient?
Peut-on avoir un droit de passage sur un chemin passant dans son terrain, pour y accéder?????
Si je ne lui apporte pas de réponses claires, j'ai bien peur qu'il goudronne le chemin qui est situé en plein milieu de mon terrain!
Merci pour votre aide.