Droit de passage usage abusif

Bonjour,
Je suis propriétaire d'une maison dont l'accès se fait par une impasse, je suis également propriétaire de ce chemin qui aussi est le seul accès de mon voisin qui réside au fond cette impasse.
Ce petit chemin d'environ de gravier d'environ 100 m dessère donc ces deux habitations.
Depuis peu un tracteur équipé d'une pelle à l'avant et d'une citerne à l'arrière emrpunte notre chemin pour aller chercher mon voisin.
Comme je l'ai précisé, ce chemin n'esdt ni goudronné ni bétonné, c'est un simple chemin de remblais garnis de graviers.
Mon inquiétude est que les allez-venus de cet engin agricole défoncent complètement notre chemin, je précise que cet engin n'est pas à mon voisin et qu'il s'agit de quelqu'un de l'extérieur qui vient sur ce tracteur le chercher.
Cet usage n'est-il pas abusif ? Quels sont les recours ?

Je précise que nous sommes en pertpétuel négociation avec ce voisin pour divers problèmes récurents constatés par la gendarmerie (nuisance sonore, musique forte, djembée, etc... mais aussi de quatre à six chiens, dont certains de première catégorie que j'ai déjà retroen conséquence de quoi le dialogue avec cette personne est devenu inistant.