Droit de passage

Bonjour,
Je suis propriétaire de ma maison depuis 2005. Nous sommes dans une cour où il y a 3 maisons alignées. La troisiéme est louée à des locataires qui n'ont pas de jardin. On les appelera L.
Mon jardin est aprés cette maison, suivi du jardin de la premiére maison (A). Je leur dois un droit de passage, ce n'est pas un soucis.
En face de notre courée, se trouve deux maisons (B, C) en location aussi. Je leur dois un droit de passage aussi car le jardin qui appartient à ce propriétaire là est aprés le mien et celui de la premiére maison. Hors, sur leur bail, le jardin n'est pas loué.
Voilà le probléme : sur mon acte notarié, seuls A,B et C ont un droit de passage dans mon jardin. Hors, L se rend dans le jardin du bout sans mon autorisation. Peut-être le propriétaire lui a t-il donné son accord, mais je n'ai aucun papier officiel. Les enfants de L ne font que passer et repasser, mettent des cailloux et des pommes dans ma piscine, on me prend en photo quand je bronze, ça crie tout le temps.... La vie est infernale.
N'ayant jamais donné d'accord pour qu'ils passent sur ma propriété, puis je leur refuser l'accés??
Je vous remerci à l'avance pour réponse que j'attend avec impatience.