Proteger mon enfant de son père instable

Bonjour,
en 2009, je me suis séparé avec le pére de ma fille agée de 2 ans à l'époque car son pére était impulsif voir violent avec moi et me trompée.... mais je l'aimais toujours
en 2011, nous avons réessayer, je voulais y croire j'ai essayé de lui pardonner de nous laisser une chance. vivant chacun de notre coté on se voyait, partait en vacance l'été meme, et il venait tous les jours chez moi ...
Apres plusieur avertissement de mes amies, le doute sur sa fidelité est réapparut...
il y a une semaine 15/04 alors que je devais aller a mon travail, je voulais lui deposer ma fille 5ans a ce jour et je l'ai entendu parler avec la fille qui me trompe de son telephone car il avait mal raccrocher et je les vu sortir de chez lui pour monter dans la cage d'escalier
soit dite en passant le pere de ma fille et ses petites copines ont tous un penchant pour l'alcool et drogue (pas juste le canabis)
je voudrais savoir comment proteger ma fille de 5 ans de son pere de ses frequentations féminine car ma fille en a vu des choses et des filles ?
savoir si je peux ne pas lui la donner en garde car je voudrais qu'elle evite ce genre d'entourage et d'environnement ?
si il peut la voir seulement en presence de ses parents ou qqn de confiance et eviter qu'il roule en voiture qd ma fille est la ?
Bref la proteger de son pere instable