Usufruit sur testament d'une maison de famille

Bonjour,

Ma mère décédée a donné l'usufruit à son père sur son testament (mon grand-père) d'une partie indissociable d'une maison de famille dont il en partie propriétaire.
Nous sommes 3 enfants ( mon père étant déjà parti) nu propriétaires d'un tiers de cette maison. Il s'agit de son habitation principale à l'heure actuelle.
Il nous fait du chantage affectif pour éviter de payer les charges et l'entretien qui lui sont dus.
Nous souhaiterions savoir dans quelle mesure il aurait la possibilité de renoncer à cet usufruit afin de nous faire payer les charges et quels seraient les tenant et les aboutissants? et ce a sa demande.
Je vous questionne donc dans le but de savoir si cela est possible, ainsi que de connaitre les droits et les devoirs de chacun en cas de séparations des 2 biens.
Je vous remercie par avance pour votre réponse, nous sommes un peu perdus avec tout cela.

cordialement.