Usufruit d’une habitation par l’un des héritiers

faut-il établir un bail ou un simple accord écrit chez notaire suffit ?

L'établissement d'un bail peut être une bonne précaution, mais n'est jamais une obligation.

Si l'héritier en cause a l'usufruit comme le laisse supposer la question, l'occupation du logement résulte d'un droit de l'usufruitier. Il n'y a donc pas lieu à établissement d'un bail.

des héritiers, co-propriétaires du bien immobilier reçu en héritage
Non, "co-indivisaires".
Ces héritiers sont dans "l'indivision".

faut-il établir un bail
Pas obligatoirement, puisque l'occupant est déjà propriétaire des lieux.

ou un accord des héritiers spécifié chez notaire est suffisant ?
Evidemment.
Eux aussi sont propriétaires des mêmes lieux.
L'occupant doit, non pas un loyer, mais une indemnité d'occupation, d'un montant a peu près égal à un loyer, est due à l'indivision.