Assistante Sociale et garde d'enfants

Bonsoir , à toutes et à tous.
Je me lance , car j'ai peur.
Maman de 2 enfants ( 6 et 4 ans ) , je suis séparée de leur papa suite à des violences conjugales ( reconnues et jugé coupable de ces faits ). Nous exerçons tous les 2 l'autorité parentale , mais les enfants vivent avec moi sur décision du juge.Nous n'avons pas forcément de dialogue avec le papa , juste le strict minimum pour les enfants.
J'ai vécu avec un autre homme pendant 2 ans. Nous nous sommes séparés. La 1ère chose qu'il a été faire par vengeance , est de prendre contact avec le papa de mes enfants pour peindre un tableau noir sur mes conditions de vie.J'ai aussi reçu des menaces de mort et il a promis de me faire perdre la garde de mes enfants. Depuis j'ai peur que mon ex m'envoi une assistance sociale et qu'on m'enlève mes enfants. Je vis seule avec eux et je travaille en milieu hospitalier. Sur quels critères , un papa peut faire la demande d'envoyer une assistante sociale au domicile de la maman ? Mes enfants vont bien , se portent bien et pratiquent des activités extra scolaire. Pour ma part je n'ai rien à me reprocher mais connaissant la méchanceté humaine , j'en arrive à avoir peur.
Quelqu'un peut il m'aider ou me renseigner ?
Cordialement