Enlevé le nom de notre géniteur

Bonjour,
Mon père c'est jamais occupé de moi et de mon frère, pour nous c'est pas notre père c'est juste qu un géniteur. Alors maintenant que nous sommes adultes nous voulons faire enlevé son nom. Pour prendre celui de notre mère qui a tout fait pour nous car notre géniteur n'a jamais payé une pension alimentaire à notre mère. Moi j'ai bientôt 37 ans et mon frère a 35 ans et maintenant nous sommes prêts car nous avons plus peur de lui nous sommes prêts à l affronter. Comment faire. Merci beaucoup de me répondre