Récupération du bien après décès usufruitiers

Bonjour
J’ai une question qui me trotte dans la tête depuis pas mail de temps, et j’aimerai avoir quelques éléments de réponse.
Je suis actuellement propriétaire d’une maison. (j’ai racheté les 50% de mon frère sur la donation).
Cette maison est composée de 2 appartements qui ont été reliés. Cela ne représente plus qu’un ensemble de 2 étages.
Mon père nous avait fait donation de l’appartement du haut, et ma mère de l’appartement du bas.
J’ai depuis acquis les 50% de mon frère de cette propriété.

Mon grand père paternel profite de l’usufruit du bien. (cet usufruit porte normalement uniquement sur l’appartement du haut donné par son fils). Mais ils ont toujours aussi utilisé l’appartement du bas, et je ne désire à aucun moment l’utiliser de son vivant et souhaite lui en laisser le plein usufruit.
J’ai pas contre, des soucis avec mon père, il m’a abandonné à l’âge de 6 ans, et à toujours depuis ses années apportés malheurs et violence dans notre famille. Nous ne nous parlons plus depuis de longues années, et je ne souhaite en aucun cas relié des liens avec lui.

Mon père étant fils unique, il devient forcément seul hériter de mon grand père. Mon grand père vivant dans la maison donc je suis propriétaire (il a l’usufruit), que va-t-il se passer quand mon grand père va décéder ?
Mon père va-t-il pouvoir venir CHEZ MOI, pour récupérer les affaires de son père, puis je l’obliger de venir avec un huissier et lui bloquer l’entrée de la maison familiale, à la minute même ou mon grand père va décédé (son père).
Que ce passera t il sur les 2 appartements.

Si je dois le laisser rentrer dans l’appartement du haut ou légalement son père a l’usufruit, puis je lui bloquer complètement l’accès du bas en étant plein propriétaire (sans usufruit légale, juste un avantage que je donnai à mon grand père ?)

Merci de votre aide.