Déchéance de l'autorité parentale

Bonjour,
Mon divorce a été prononcé le 14 février 2006.
Mon ex-mari n'exerce plus son droit de visite auprès de nos 3 enfants depuis le 1er janvier 2007 et ne paye plus la pension alimentaire pour nos enfants depuis septembre 2009. En janvier 2008, suite à une procédure de justice concernant le droit de visite de mon ex-mari et une enquête sociale ordonnée par un Juge aux affaires Familiales, un jugement a fixé un droit de visite avec passation en lieu neutre. Mon ex-mari a envoyé un courrier à l'association qui devait servir de lieu neutre précisant qu'il refusait la mise en place de ce droit de visite avec passation en lieu neutre et qu'il préférait ne plus voir nos enfants. Depuis, il n'est jamais revenu les voir et les rares entretiens téléphoniques que nos enfants échangent avec lui se terminent mal. Ces échanges sont pratiquement inexistants depuis plusieurs mois.
Ma première question est : les conditions que je viens de vous décrire me permettent-elles de demander une déchéance de l'autorité parentale de mon ex-mari ? Il est très compliqué de devoir demander à mon ex-mari de signer tous les papiers concernant nos enfants alors qu'il ne voit jamais nos enfants, qu'il ne s'en occupe jamais, qu'il ne s'intéresse pas à eux, et que chaque document à signer est l'occasion pour lui de s'opposer à moi.
Ma deuxième question est : qu'est-il possible de faire pour que dans le cas où il m'arrive quelque chose, mes enfants ne soient pas contraints d'aller vivre chez leur père ? C'est quelque chose d'inacceptable pour eux, étant donné l'état de la relation qu'ils ont avec leur père. Je vais me marier en juillet 2011 et mes enfants ont une excellente relation avec mon compagnon. Je pense que je ne peux rien faire pour qu'ils restent avec lui. Mais est-il possible de faire en sorte que mes enfants soient placés sous la responsabilité de mes parents qui habitent la même commune que nous ? Mes enfants ont 17ans1/2, 15 ans et 11ans1/2.
Je vous remercie pour vos réponses.
Catherine