Litige ci-héritiers

Bonjour,
Je suis nu-propriétaire d’un appartement en donation depuis 1983 et y habitant depuis cette date là. Mon père l usufruitier a fait le choix de ne jamais me demander de loyer. Les co-heritiers au décès de mon père peuvent ils me demander réparation ? Alors que je suis nu-propriétaire.
J’ai cru voir que l usufruitier peut décider volontairement de ne pas percevoir son usufruit (loyer). A savoir tout de même que j ai toujours payé les charges qui m incombaient (foncières, ravalement...)... etc