Usufruit et handicap

Bonjour,
Suite au déces de mon père (que je n'ai pas connu) son testament donne l'usufruit sa vie durant à sa compagne du bien immobilier dont-il était seul propriétaire . Je serais donc nu-propriétaire de ce bien dès que la succession aura été finalisée par le notaire.
La personne qui occupe le logement est placée sous curatelle renforcée et j'ai appris récemment par le notaire via la curatelle qu'elle acceptait l'usufruit.
J'ai eu un appel du clerc ensuite qui m'informait que la curatelle mettait en place des recherches dans le but d'évaluer la participation de cette dame dans le coût de la construction de la maison en tant que non propriétaire. (J'avais déja averti la curatelle qu'au cas où nous nous entendions pour vendre cette maison je lui reverserais une part pour qu'elle puisse se reloger décemment et avoir un petit capital, ceci me semblait être la moindre des choses même si je ne suis pas moi même fortuné loin de là).
Je me trouve donc avec le notaire qui me dit qu'il y aura des sommes à lui reverser, une curatelle qui "pour les intérêts" de cette dame peut débloquer des montagnes et moi qui ne peux intervenir car à 400 km, pas de budget pour me déplacer souvent, un clerc qui n'est pas joignable, qui ne rappelle pas,et qui n'avait par exemple toujours pas informé les banques du décès de mon père au bout de trois mois...
J'ai pourtant signifié à l'office le jour de l'ouverture du testament que je lui donnait procuration au regard de l'état de santé pscychologique de l'ex compagne de mon père, comme du fait que je ne connaissais rien de lui. Pour information il y a environ 25000 euros sur les comptes ( 6000 selon le clerc)...
Puis-je contester la demande de la curatelle ? Le fait d'avoir habiter ensemble, construit cette maison, et donc aussi évidement avoir participé à l'achat des matériaux ouvre t-ils des droits non contestables à cette dame?
Merci de m'éclairer un peu parce qu'à mon avis ça sent la lutte du pot de terre contre le pot de fer si je m'y oppose...