Servitude

Bonjour,
il y a quelques semaines, j'ai acheté une maison dans un village. Sur le côté se trouve une servitude qui appartient à trois propriétaires, dont moi-même. Le bâtiment étant ouvert à l'arrière, les personnes qui ont accès à la servitude (en fait, tout le monde, la serrure ne fonctionnant plus) peuvent donc rentrer chez moi. Nous avons donc changé la serrure pour des questions de sécurité, et avons donné une clé à la voisine de droite (propriétaire elle aussi) et tentons de contacter les deuxièmes propriétaires.
Mais voilà, le propriétaire des deux maisons de droites considère qu'il a lui aussi le droit de passage, car, je le cite "j'ai toujours eu le droit avec les anciens propriétaires, donc j'ai toujours le droit aujourd'hui". Le terrain d'une des maisons longe la servitude, il a donc décidé de couper en deux afin d'avoir un jardin pour chacune des maisons.
Il m'a contacté la semaine passée, vers 8h du matin, me demandant de venir immédiatement ( j'habite à 50km ) pour ouvrir la porte car les ouvriers sont là, et que le changement de serrure est "intolérable". Je lui ai donc gentiment expliqué que je savais pas être présente de suite mais que j'autorisais les ouvriers à utiliser la servitude et que j'arriverais une heure plus tard, le temps de faire la route, pour ouvrir. Lorsque je suis arrivé, les ouvriers étaient déjà au travail, ils sont passés par la maison directement, je leur ai donc demandé s'il avait besoin du passage par la servitude et mon répondu non.
Pendant une semaine, il m'a harcelé au téléphone, m'assurant qu'il était lui aussi propriétaire, mais ne veux ni me le prouver par acte de propriété ou même simplement en me donnant les numéros de parcelle de la servitude.
Ce matin je reçois un nouvel appel de ce monsieur, disant que les ouvriers étaient là aujourd'hui et que, comme il n'a pas la clé, ils allaient percer le barillet de la serrure, et m'a raccroché au nez. Prise de panique, j'ai fait la route en urgence afin de constater les dégâts.
Sur place, la porte n'a subi aucun dégât, je suis passé par la servitude et est demandé aux ouvriers s'ils avaient besoin du passage et mon répondu que non, ils passaient par la maison...

Ce monsieur a-t-il le droit à une telle réaction ou suis-je en tord, pour avoir changé la serrure ?
Que faire face a cette situation ?

Merci