Droit de passage sur terrain privé au bord de l'eau

Bonjour,
Nous venons d'acheter un ancien moulin à eau donc au bord d'une rivière et équipé d'un barrage. Aucun accès n'est possible pour accèder au bord des rives qui jouxtent notre terrain, si ce n'est en bateau ou par le portail éléctrique de l'entrée de notre terrain (donc forcement en nous demandant l'accès) ou alors par les champs qui entoure la deuxième partie de jardin. je précise que le terrain de notre maison est divisé en deux parties, une partie donnant sur la route avec la maison entierement cloturé avec portail electrique et l'autre relié par un pont et entouré de champs (cette partie n'étant pas cloturée). Lors de la vente finale chez le notaire, nous avons bien été mis au courant que nous devions mettre en place et laisser un passage pour que la commune puisse acceder au barrage de jour comme de nuit.
Ce week end alors que nous étions en train de nettoyer le barrage, un garde pêche s'est pointé à notre portail électrique pour qu'il vienne inspecter l'état du barrage. Il nous a accusé d'avoir coincé un bout de bois au niveau des trapes pour laisser couler l'eau. En plus d'être desagréable, il nous explique fièrement venir régulièrement inspecter l'état mais comme nous ne sommes pas tout le temps présent, Monsieur traverse les champs autour et penètre sur notre propriété privé sans notre accord mais selon lui tant que nous ne cloturons pas cette partie du terrain il a tout les droits car ce n'est pas considéré comme une propriété privé???. Aujourd'hui même monsieur est revenu et à même traversé la deuxième partie du terrain pour venir nous chercher dans notre cuisine du coup, nous n'avons plus aucune intimité chez nous.

Je voulais donc savoir si il avait réellement le droit de pénétrer chez nous sans notre accord. Qui est concerné par le droit de passage pour la rivière? Sur l'acte notarié, seul la commune est cité. Nous savons aussi que nous devons laissé les berges disponibles mais dans quel cas? seulement les personnes avec embarcation ou alors tout le monde peux traversé notre jardin pour s'installer au bord de l'eau?
Merci beaucoup pour vos réponses