Non présentation d'enfant

Bonjour,
voilà, je suis maman de deux enfants, je me suis séparée du père en avril 2009, jusqu'octobre 2009 il ne les a pris que quelque fois mais très rarement, ensuite il y a eu un jugement avec droit de visites et d'hébergements les 1er 3eme 5eme week-end plus la moitié des vacances scolaires. Pareil il ne l'ai a pris que très rarement ne donnant jamais de ses nouvelles jusqu'au moment ou il a rencontré quelqu'un la il les a pris jusqu'en septembre car cela se passait très mal et ce week end là il a ramené les enfants le samedi matin ( il devait les ramener le dimanche matin). Autant dire que les enfants ont été très choqués de ce week-end et je soupçonne de la violence sachant qu'il très instable même très violent. La petite avait des marques qui ont restées deux mois aux jambes le petit plus âgé a été très perturbé et agité. Je n'ai pas pu prouver l'acte de violence et j'ai décidé pour la stabilité et le bien être de mes enfants de ne plus les donner. Cependant, cette personne est très manipulatrice, et j'entend des échos comme quoi il devrait plus tarder à faire assignation en justice... donc n'ayant pas de preuve réelle et concrète je ne sais pas quoi faire et ne sais pas ce que je risque... Il assume rien pas de pensions alimentaires pas d'affection... et je ne peux pas faire un désaveu de paternité sachant qu'il ne boit pas qu'il ne se drogue pas... Il aurait tout les droit alors qu'il n'assume pas je ne trouve pas que ce soit très juste... Et je ne sais pas comment faire pour le contrer car même ayant un couteau sous la gorge je préféré ne pas les donner... Depuis septembre les enfants sont stables ne sont plus perturbés...Que faire dans le cas ou le tribunal lui donne raison... ?
merci beaucoup de vos réponses