Peut-on déchoir notre père de se droits paternel?

Bonjour,

Nous sommes 3 frères et soeurs de 26/30 et 32 ans. Notre père est handicapé mais tout à fait conscient de ses actes donc inutile de penser à une mise sous tutelle. Il s'est mis en couple il y a 4 mois avec une femme ayant elle-même 3 enfants et 3 petits-enfants. Elle a fait en sorte que nous recuperions au plus vite nos affaires qui étaient encore dans la maison de mon père (reste celles dans les granges) et à noël, mon père nous a fait part de leur prochaine visite au notaire afin de donner l'usufruit de sa maison à sa nouvelle copine pour la mettre en sécurité en cas de pépin. Mon frère, en se renseignant à également appris que mon père avait autorisé les enfants de cette dame à construire un logement dans ses franges. C'est d'une part notre héritage qui part pour des inconnus mais surtout, s'il arrive quelque chose à mon père, qu'il meure ou se retrouve en maison médicale ou maison de retraite, c'est vers nous que la loi se tournera pour payer au bas mot les milliers d'euros par an de frais. Je sors d'un dossier banque de France dans 6 mois, ma soeur et mon frère n'en auront pas plus les moyens non plus, nous avons tous 3 des CDI mais en gagnant 900/1000 et 1200€ par mois il va vraiment nous mettre nous, nos enfants et nos famille dans de graves situations financières.
Nous ne pourrons plus déloger ces gens de sa maison pour la vendre afin de nous aider à payer ses frais médicaux.
Lorsque nous avons voulu construire dans sa grange, nous, ses propres enfants, il y a 2/3 ans de ça, il nous a demander de payer et fait estimé combien ça lui rapporterais alors que cette femme lui fera tout donner pour pas un centime. Comment nous protéger financièrement de tout ça? Peut-on le déchoir de ses droits parentaux et celà nous éviterait il de payer pour lui s'il lui arrivait malheur?
Je précise qu'il n'en est pas à son coup d'essais, il nous a toujours pourris l'existance, ce n'est là que la goutte d'eau qui fait déborder le vase.

Je ne demande pas de jugement sur notre comportement ni le siens, juste de vrais renseignements... Si vous en avez.