Retirer les droits d'un père

Bonjour à tous !

Je souhaite faire retirer les droits parentaux de mon ex-conjoint ainsi que pour les grands-parents paternelles de mes deux enfants !

J'ai deux enfants d'une précédente union, ils sont nés les 20 mars 2011 et 24 septembre 2012.
Je suis séparée de fait depuis décembre 2012, le jugement à été prononcé en juin 2013. ce jugement est basique, le père garde un droit de visite et d'hébergement, la garde est fixée à mon domicile, le père doit faire réévaluer la pension alimentaire tout les ans et dois s'occuper de venir chercher les enfants lui même en temps voulus.

J'ai déposé une plainte contre lui en mars 2013 pour violence, monsieur est venu m'agresser à mon domicile. La plainte n'a pas donné de suites.

Je suis partie à l'autre bout de la France le 21 septembre 2013 pour diverses raisons. En effet le 20 septembre 2013, le père qui avait nos enfants au domicile de son père où il est hébergé à titre gracieux, m'a téléphoné en plein service (je travaillais dans la restauration) pour que je vienne chercher mes fils car le père m'a dit ne plus les supporter. J'y suis allée mais mon patron m'a remercié...
De plus, monsieur ne cessait de se présenter à mon domicile espérant se remettre avec moi. Sauf que j'était en train de refaire ma vie avec un autre homme (mon conjoint actuel) que j'ai donc rejoint avec mes enfants le 21 septembre 2013.

Depuis cette date, mon ex conjoint n'est jamais venu se présenter à mon domicile (dont il a l'adresse) pour exercer son droit de visite.

Aidée de mon conjoint actuel, nous avons emmené nous même mes enfants à leur père toujours hébergé par son père gratuitement, pour qu'ils passent avec lui le réveillon de la St Sylvestre le 31 décembre 2013.
Le 1 janvier 2014, au moment d'aller récupérer les enfants, nous n'avons pu que constater que la visite n'avait été qu'un échec. Effectivement, le père était en train de fumer une cigarette juste à côté de mon ainé qui jouait avec les boutons de la gazinière... Mon plus jeune était quant à lui seul sans surveillance dans une autre pièce de la maison en train de manger la terre d'un pot de fleur... Monsieur à également refusé que les enfants emmène chez moi leur cadeaux de noël.

Nous avons refait un essais et encore une fois nous avons emmené nous même mes enfants voir leur père un après midi en aout 2014, toujours hébergé chez son père. Mais il y a très peu, la soeur du père de mes enfants m'a téléphoné pour me raconter que ça ne s'était pas bien passé, c'est elle qui avait du s'occuper du plus grand, pendant que le plus petit était seul attaché dans sa poussette. Monsieur était occupé à discuter avec ses amis à la fête forraine du village.

Depuis, Monsieur n'a plus revu ses enfants, il ne leur téléphone pas, il n'envoie aucune carte pour les anniversaires, et jamais il ne leur a fait de cadeaux de noël.

Je tiens à préciser que le plus grand de mes fils est autiste TED non diagnostiqué. Son père n'a jamais voulu prendre contact avec les différents médecins qui suivent mon fils, il n'aide pas à financer les soins, ne prend aucunes nouvelles des examens médicaux et me laisse gérer seule toutes les décisions. Si je lui téléphone à ce sujet je n'ai pas de réponse, il reste silencieux.

Il n'a jamais pris contact avec l'école où sont scolarisés les enfants, ne suit pas leur progrès scolaires, rien !
Il est totalement désintérressé par ses enfants et si je reprend les propos écrits de sa soeur 'ça n'a même pas l'air de le perturber' !

Même si monsieur se décidait à reprendre son rôle au sérieux, je ne pense pas que cela soit bénéfique pour les enfants. En effet ceux ci l'on tellement peu vu qu'ils ne se souviennent plus de lui.
Quant à mon grand, sa maladie éxige une structure stable et aucun changements (une routine journalière), je pense donc que de le revoir ne ferait que le perturber et monsieur serait parfaitement incapable de gérer les troubles envahissants de développement de mon fils.

Pour ce qui est des grands parents paternelles de mes enfants nous en sommes au même point. La mère de monsieur m'appelle une fois par mois pour me donner le code du mandat cash urgent de la pension alimentaire... Monsieur n'ayant pas fait le virement automatique que je lui ai demandé de mettre en place il y a maintenant deux ans. Lors de ces appels, mon ex-belle-mère ne demande jamais à parler aux petits.
Pour ce qui est du grand-père paternel de mes loulous, j'ai repris contact avec lui le 15 janvier 2016 afin de l'informer de mes projets. Encore une fois ce fut un échec, je n'ai pu que constater que mon ex n'avait fait à mon égard que des propos diffamatoires...
Avant cette date, je n'avait de sa part aucune nouvelles non plus.
Les grands-parents ne sont jamais venus voir les enfants, ne leur ont envoyé aucune cartes d'anniversaire, ils n'ont pas montré, eux non plus le moindre intérêt pour leurs petits-enfants.

Par ailleurs, j'ai appris recemment que monsieur s'était fait retirer le permis de conduire, pour conduite en état d'ivresse et qu'à priori un examens sanguin est demandé afin qu'il le repasse mais celui ci ne veut pas étant donné qu'il boit à outrance.

A l'heure d'aujourd'hui, le père n'a plus le permis, il vit toujours gratuitement chez son père alors que c'est un militaire très bien payé, il est en conflit avec toute sa famille mis à part sa mère, il ne donne aucun signe de vie et ne se préoccupe pas le moins du monde de ses enfants !

Quand pensez vous ? Comment dois je m'y prendre ? Avez vous des conseils à me donner ?