Droit de passage contesté au bout de 14 ans

Bonjour,
Voilà? nous avons acheté en juillet 2004 , une maison avec un droit de passage, utilisé par les propriétaires d'alors? Ce sont eux qui ont nous ont vendu leur maison.ce droit de passage figure sur les actes notariés. En fevrier 2005, un géomètre agrée a borner notre propriété, que nous avons clôturé avec un mur et un portail donnant sur notre droit de passage, avec l'accord de la mairie. A ce jour, cette personne m'harcele en me disant que je n'ai pas le droit, il m'insulte, et vient de faire constater par huissier mon portail et mon mur , en place depuis 2005; je suis à bout , cet homme sait que je suis seule avec mes enfants, et cherche à me faire craquer. J' ai fourni à l'huissier mes documents juridiques . Que me conseillez vous? merci