Culpabilisation et renoncement à héritage

Bonjour,

il y a trois ans, le soir de noël, mon père m'a annoncé qu'il voulait que je lui signe un renoncement à héritage au profit du conjoint survivant, en présence de ma mere. Il m'avait culpabilisé que c'était l'argent qu'ils avaient gagné EUX toute leur vie, et que c'était normal qu'il serve à protéger le survivant des deux. En effet peu de temps avant ils venaient de revendre leur appartement et n'avaient donc en bien que les liquidités de la vente.
Il y a deux mois ma mère est décédée d'un cancer. J'ai par ailleurs appris que c'est peu de temps avant m'avoir fait signer ce papier qu'ils avaient appris le cancer de ma mère.
Aujourd'hui, le notaire a indiqué à mon pere que ce papier n'était pas valable, n'ayant pas été signé devant lui. Il lui a indiqué qu'il suffisait que je fasse une renonciation à envoyer au greffe pour que mon père hérite de tout. Le notaire est parfaitement au courant que j'ai des enfants, vu qu'il a eu la copie de mon livret de famille. Il a pourtant envoyé mon père à la banque afin de débloquer les comptes et retirer ce qu'il y a dessus, en lui disant de ne surtout pas mentionner à la banque qu'il a des enfants.
Je ne sais absolument plus que faire. D'un coté je n'ai pas envie d'entendre parler d'histoires d'argents pendant des années et je serais prêt à renoncer à l'héritage. Sauf que j'ai des enfants en bas age. Qui deviennent donc mes représentants. Que va-t-il se passer ? Le notaire va les contacter ? Mon père peut il me forcer à refuser en leur nom ?
Comment puis je avoir confiance en ce notaire qui connait mon pere depuis plus de 10 ans ?
Je sais où se trouve l'illegalité là dedans. J'aimerais juste savoir comment l'illegalité peut-elle jaillir sans que ce soit moi qui agisse, pour pas que je passe pour le méchant qui conteste alors que j'avais accepté sans broncher de lui laisser ma part.

Merci pour tout conseil...