Enlevement autorité parentale

Bonjour,
je vous explique rapidement mon probleme.
J'ai une fille de 4ans 1/2 d'une premiere relation , nous nous sommes séparé alors qu'elle avait 2 ans et je me suis remise en couple avec un homme formidable qui l'a élevé comme sa fille d'ailleurs elle le considerent comme son papa car son pere biologique ne s'occupé pas d'elle donc elle en a aucun souvenir.
Depuis la séparation le père ne demander pas de nouvelles sauf qu'il me harcelé pour me parler me recuperer , en aout 2008 il a fait une demande auprès du JAF pour demander un droit de visite et d'hebergement .
Cette personne n'était pas stable sans emploi sans hebergement de plus il se drogue et n'est vraiment pas stable donc le juge à reconnu son autorité parentale puisqu'il l'avait reconnu mais à emi un droit de visite sous reserve specifiant qu'il n'était pas dans une situation propice et que se serai destabilisant pour l'enfant qui à cet epoque n'avait pas vu son pere depuis 2 ans . Une pension alimentaire de 100e avait été fixé mais n'a été payer que 3 mois .
Une amie l'a rencontrer a l'heure actuelle il travail , a un appartement et j'ai peur qu'il ne veuille la revoir .
Sachant que ma fille a trouver son equilibre avec un papa de coeur et une petite soeur et elle n'a meme pas conscience de l'existence de se pere je crains que si il la revoie cela ne la perturbe .
J'aimerais savoir si l'on peut dechoir de ses droits un pere qui n'a pas vu son enfant depuis bientot 3 ans et qui ne paye pas la pension alimentaire.
S'il vous plait aidez moi je n'en dort plus la nuit .
J'attends vos conseils et vos reponses.