Usufruit et droit de mon frère sur ma propriété

Bonjour,
Par donation-partage en 2004, j’ai hérité de mes parents d'une maison d'habitation et de bâtiments d'exploitation (anciennes écuries et hangar), mon frère quant à lui a hérité des terres environnantes sur plusieurs hectares, mais il habite à une quarantaine de kilomètres.
J'ai fait entièrement rénover cette maison que j'habite avec mon épouse depuis 2 ans , mon père étant décédé et ma mère, qui en est l'usufruitière étant en maison de retraite depuis trois ans.
Elle est âgée de 90 ans et malheureusement souffre d'un Alzheimer qui la laisse complètement dépendante. Elle bénéficie d'une retraite très correcte qui lui permet de subvenir sans problème entièrement à ses frais.
Elle n'est pas sous tutelle, c'est mon frère ainé qui a décidé de s'en occuper d'autorité, sans me demander mon avis, et sans me fournir des informations sur l'état des comptes de ma mère sur lesquels il a procuration...
Mon frère possède des chevaux sur ses parcelles de terres attenantes à notre maison, dont je rappelle qu'il est nu-propriétaire également selon les mêmes conditions.
Aucune mention spéciale de "droit de passage" ou autre ne figure sur l'acte notarié, mais mon frère s'autorise des allées et venues à son gré chez moi sans demander l'autorisation, ouvre mon portail en notre absence, entre ses véhicules, se permet de déambuler dans les bâtiments d'exploitation dans lesquelles sont toujours stockées un tas d'affaires qui lui appartiennent (ferraille, carrioles à chevaux, harnais, etc...), va visiter ses chevaux en passant chez nous, bref se considère chez lui..
Je précise que le compteur d'eau qui sert à abreuver les chevaux de mon frère est le compteur de ma maison, et que mon frère me paye une partie de la facture annuelle, de façon très aléatoire !...
Malgré les tentatives d'explication, aucune solution car mon frère est borné, j'ai décidé de fermer à clé mon portail et les bâtiments annexes, notamment en mon absence (j'envisage d'ailleurs la pose d'un portail électrique avec interphone)
J'ai demandé à mon frère de ne pas pénétrer chez nous comme bon lui semble, de faire ouvrir un compteur d'eau à son nom et d'accéder aux champs par leurs propres entrées
Mon frère nous fait convoquer chez le notaire "pour faire le point" car il prétexte qu'il a des droits sur ma propriété du fait que notre mère en est toujours l'usufruitière...
Nous avons rendez-vous dans 15 jours, mais en attendant j'aimerais avoir vos avis très éclairés sur cette situation que je ne supporte...
Merci de vos réponses .
Cordialement.
Christian