Doit on payer un loyer à une usufruitière si celle ci est sous tutelle

Bonjour,
Ma compagne a 3 frères, sa maman est sous tutelle et est placée en maison de retraite (depuis Sept 2009). Sa maman est l'usufruitière d'un bien composé de 3 appartements (bien évidemment de tailles différentes), les enfants ont la nue propriété. Le tuteur est un des frères et a été désigné par le juge des tutelles fin 2009.
Ce tuteur habite depuis 2005 dans un des logements sans que lui soit jamais demander de loyer par l'usufruitière.
Nous même, après avoir effectué des réparations sur un logement en Avril 2008, nous l'occupons depuis avril 2010, sans verser de loyers.
Les frais de la maison de retraite sont couverts par la pension de retraite mais nous sommes aussi amenés (le tuteur et nous même) à compléter pour couvrir l'intégralité de cette maisons de retraite.
Un des frères a demandé au juge des tutelles que nous versions un loyer à l'usufruitière. Et après avoir épuisé 3 juges différents, apparemement le dernier lui donne raison. Quel recours ai je car aucun ne semble être d'accord ?