Droit de passage

Bonjour,
J'ai vendu un bout de terrain à mes voisins situé à l'arrière de leur maison, leur permettant d'agrandir leur jardin. Je leur ai accordé un droit de passage pour qu'ils puissent déposer leur bois coupé sur leur terrain sans avoir à passer par leur maison côté rue. Il s'avere qu'ils stockent leur bois sur mon terrain et qu'ils le rentrent côté rue. De plus je ne peux disposer de mon terrain comme je le souhaite parce que ça les dérange. Devant autant d'incivilité, je souhaite annulé le droit de passage. Est-ce possible et que dois-je faire?