Droit de passage

Bonjour, nous habitons dans une maison qui fait partie d'une exploitation agricole. Pour accéder à la maison nous avons un chemin qui est communal (l'entretien est a notre charge), jusqu'au coin de la maison. En continuité de ce chemin, il y a un chemin que nous avons fait nous meme, qui fesait parti des champs (de droite et de gauche), afin de pouvoir traverser l'exploitation avec les engins agricoles. Mais depuis les gens ce permettent de passer à travers l'exploitation (à pied, à vélo, en mobilette). La commune est au courant mais ne fait rien, suis je dans mon droit d'arréter les gens? Et quoi leur dire?