Enfants - Problème avec le copain de mon ex

Bonjour,
Je vis dans une maison avec mes 3 filles en garde alternée. Mon ex femme en est toujours copropriétaire.
De ce fait, quand ça ne va pas avec son copain. Elle revient vivre dans la maison.
C'est arrivé 3 fois en 1 an, qu'elle revienne en disant que c'était fini avec son copain et que la maison était encore à elle, alors elle a le droit de revenir.
Mon gros souci, c'est l'instabilité pour mes 3 filles. Elles ne comprennent pas le fait de revivre sous même toit et d'un coup, du jour au lendemain, de repartir vivre chez le copain de mon ex.
De plus, le copain me paraît louche, fais du chantage à mon ex. Je la sens manipulée.
J'aimerais qu'il ne puisse plus revoir mes filles et qu'elles aient une vie plus stable.
Je ne sais pas quoi faire...