Oocupation abusive d'un terrain

Bonjour,
Je suis propriétaire avec mon mari d'un pré au bord de la rivière. Un éleveur est riverain des deux côtés du terrain. Nous avons laissé jusqu'à présent ses bêtes pâturer sur le terrain. Il n'y a pas eu de bail de signer, ni d'accord et il n'y a aucune compensation . Cet éleveur avait juste l'autorisation verbale de passer avec ses vaches.
Récemment, il y a eu un amménagement de la rivière avec création d'abreuvoir et de passerelle et l'obligation pour cet éleveur de clôturer le long de la rivière. Sans nous prévenir, il a coupé des arbres sur notre terrain. Nous lui avons demandé alors de récupérer le terrain.Il a continué en installant une clôture le long de la rivière et aussi sur notre terrain. Devant notre indignation, il dit que c'est à nous de faire une clôture de chaque côté de notre terrain pour empêcher ses bêtes de passer, que de toute façon, il faut lui laisser un droit de passage (il y a des accès mais il faut les dégager car pas entretenus). Que faire pour qu'il enlève la clôture, pouvons nous couper les piquets, est ce à nous d'empêcher les vaches de passer?, Nous avons aussi peur que si nous laissons la situation telle qu'elle est, il nous dise dans 15 ans,cette parcelle m'apartient,c'est moi qui l'ai entretenue avec mes bêtes.
merci de votre aide