Dégradation d'un chemin privé sans droit de passage

Bonjour,

Un voisin passe depuis plus de 10 ans sur une parcelle de propriété et sur un chemin privé pour accéder à sa propriété. Le chemin fait plus de 80 m de long, il appartient la moitié (1,5 m) sur la longueur à la propriété adjacente et l'autre moitié (1,5 m) du chemin appartient à la commune.
Il y a 4 ans, nous avons acheté la maison, le terrain ET ce chemin privé, le notaire nous confirme qu'il n'y a aucun droit de passage.
Pour information, il a un autre chemin d'accès qui relie la route à sa propriété mais ce chemin était en mauvaise état. Nous avons tacitement laissé passé pendant 4 ans ce voisin avec ces véhicules sur une partie de notre parcelle et notre chemin en attendant les travaux de rénovation du chemin menant à sa propriété.
Maintenant que son chemin est rénové par la commune, il ne l'utilise JAMAIS , il continue a passer lui et sa famille systématiquement par notre parcelle et notre chemin. Il y a plus d'un mois, suite à un échange verbale devant notre maison, je lui explique qu'il pourrait faire l'effort d'utiliser son accès. Il me répond qu'il a un droit de passage, que ce chemin n'est pas à nous (prétextant la moitié de chemin communale sur la longueur). Que nous sommes dans l'illégalité et il veut nous poursuivre au tribunal.
Concrètement nous voulons aller au bout du conflit, nous avons eu la gentillesse de le laissé passer pendant 4 ans, maintenant notre chemin est dégradé (trous, déformation) et nous voulons lui faire payer sa malhonnêteté.
Quels moyens juridiques pouvons nous mettre en oeuvre pour prouver qu'une grosse partie de la dégradation de notre chemin est de sa conséquence ?
Comment pourrait on stopper cette famille de passer sur notre chemin sans installer de barrière physique mais plutôt financière ?