Pere absent autorité parentale

Bonjour, mère célibataire de 4 enfants 

Séparé du père de mes 3 premiers enfants depuis 5 ans et demi nous avions mis en place une garde alterné sans jugement 

Malheureusement sa se passait très mal chez lui avec mes enfants  violence verbal psychologique négligence etc 

Mes enfants refusait d'y retourner 

Je les ai gardé avec moi mais voilà cela fait 4 ans qu'il a complètement disparu aucune nouvelle de lui aucune aide financière rien je suis même quasiment sur qu'il a déménagé 

Il continue de toucher la moitié des allocations familiales car on n'avait fait le partage ( sous contrainte car menace donc j'ai accepté pour qu'il ne m'ennuie pas) il a donc un enfant sur les 3 sur son compte caf 

Je voudrai récupérer mon enfant pour qu'il soit à ma charge auprès de la caf au même titre que mes autre enfants 

Faut-il son accord a lui ?

Je souhaiterais savoir également si il est possible de lui retirer l'autorité parentale.

Mes enfants refuse catégoriquement de le voir il refuse de retourner chez lui d'autant qu'il on une vie stable et un petit frère dont il refuse d'être séparé. 

Merci pour vos réponses.