Servitude de passage

Bonjour,
J'ai acquis une maison il y a 3 ans et dans l'acte notarié, il est fait mention d'une servitude de passage 'au profit de divers et précisé qu'il s'agit d'une servitude datant d'avant 1958 ( et donc non tracé aux services des hypothèque.
Dans mon acte il est fait également fait mention du plan de bornage qui a été annexé à l'acte notarié. Ce plan de bornage spécifie que la servitude est temporaire et qu'elle cessera lors de la réalisation de la zone AN et de la modification du pos. La zone AN est réalisé (il s'agit notamment de la création d'un lotissement juste derrière chez moi) et après vérifications auprès de la mairie, la servitude n'apparaît plus au cadastre.
Jusque là tout va bien sauf que mon nouveau voisin de derrière (lotissement) réclame le droit de passage notamment pour se faire livrer du bois en fond de parcelle ou passer avec sa remorque. Son terrien n'étant pas enclavé et compte tenu de ce qui est indiqué dans mon acte notarié et de la suppression de la servitude au niveau du cadastr, puis-je lui refuser ce droit de passage et récupérer mon terrain ?

Merci de votre aide.
Cordialement