Renonciation à usufruit

Bonjour,
Nous sommes avec mon épouse usufruitiers d'un logement que nous avions fait acheter à notre fils mineur avec une somme qu'il avait perçue en dédommagement de séquelles suite à un accident, afin de pouvoir régler les différentes taxes (foncière et habitation) ainsi que les frais de copropriété.
Depuis nous n'avons rien changé et notre fils a mis fin à ses jours il y a une dizaine d'années car étant marié ils se trouvaient en surendettement et l'appartement a été pris par le domaine auquel, suite à leur demande nous leur avons adressé les clés.
Or, mon épouse et moi même possédons la carte d'invalidité et de ce fait nous ne pouvons nous rendre à cet appartement situé en altitude aux pieds des pistes de ski.
Ma demande est donc : que pouvons nous faire pour ne plus payer la taxe foncière car nous ne payons pas la taxe d'habitation puisque la mairie a constaté que ledit logement était vide.
Je vous remercie pour les conseils que vous pourrez me donner.