Droit de passage en droit français

Bonjour,
Nous sommes propriétaires d'une maison depuis 3 ans. Lors de l'achat un droit de passage pour le terrain enclavé du voisin a été précisé et ai respecté mais ce dernier indique qu'il existe un autre droit de passage ailleurs sur notre terrain. Il ne nous a jamais fourni de preuve de cela. Le notaire et l'ancien propriétaire réfute ses allégations mais il continue à se rendre sur notre terrain comme si le second droit de passage en question existait réellement provoquant stress et gêne à chacune de ses venues.
Nous voulons à cet endroit mettre un mur afin de condamner définitivement cet accès.
Sommes-nous dans notre bon droit ?
Pourrions nous dans le cas ou ce droit de passage existe nous retourner contre l'ancien propriétaire

Cordialement