Problème d'usufruit

Bonjour, nous sommes trois enfants
Mon père nous a fait une donation partage il y a trente ans
Mon frère aîné habitait la maison dont il est devenu nu-propriétaire et a donc payé un loyer à mon père puisque celui-ci n'y habitait plus et pour qu'il puisse jouir de son usufruit
Très vite mon frère a mis mon père devant le fait accompli qu'il ne le payerait plus ce loyer et est donc devenu de fait occupant libre du logement de mon père le privant de son usufruit.
Mon père n'était pas d'accord car cela ne nous mettait plus à égalité
Il s'est fait rembourser la taxe foncière et n'a pas assuré les travaux d'entretien à n'avait plus d'usufruit
Ma question: sommes nous lésés mon petit frère et moi sur le plan de la succession du fait que les loyers non payés ne sont pas rentrés dans le patrimoine et que mon père n'était pas d'accord?
Est ce que mon père a intérêt à prévenir le notaire de son désaccord pour que nous puissions récupérer quelque chose sur la part de mon frère aîné à sa mort?
merci pour vos réponses