Le papa refuse de prendre ses enfants pour les vacances

Bonjour, je vous explique un peu ma situation mon ex-compagnon ne veut pas passer devant le juge des affaires familiales.
Donc on s'est mis d'accord que je garde les enfants et qu'il est les enfants un weekend sur deux et la moitié des vacances. (Sans oublier qu'il me donne que 60 € de pension alimentaire pour 2 enfants 7 ans et 3 ans et demi).
Mais voilà que depuis le début de l'année il a une nouvelle conquête et que du coup pour la première fois il refuse de prendre ses enfants pour les vacances.
Du coup nouvelle menace de me retirer les enfants sauf que à plusieurs reprises je lui ai proposé la garde alternée et qu'il n'en n'as jamais voulu. Je ne sais plus quoi faire j'ai peur qu'il fasse une demande devant le juge en disant que je ne lui confie pas les enfants. Car il est capable pour me les retirer. Je me pose la question dois-je faire moi-même les démarches devant le juge pour anticiper tout ça ou pas car je sais que ça va devenir pire que ce n'était déjà.