L'usufruitier abondonne le revenu du bien

Bonjour,
nous avons fait donation à notre fils unique d'une maison qu'il habite gratuitement. Il y a investi en travaux pour la séparer en deux et en louer une partie. Il touche lui même les loyers. Les impots acceptent qu'il déclare les travaux en charge, mais prétendent que nous, usufruitiers, devons réintroduire le montant des loyers à nos propres revenus même si nous ne les percevons pas, et alors même que notre fils les a intégrés à ses revenus déclarés. Ils sont donc pris en compte deux fois par l'administration, pour 2 contribuables différents. Est ce possible ?