Déménagement et Jaf

Bonjour, j’ai la garde de mes 2 enfants (7 et 8 ans)depuis maintenant 2 ans (après être passé devant le juge). Il y a quelques mois mon propriétaire m’a signifié par recommandé qu’il voulait récupérer son appartement. Nous avons donc chercher un autre logement pour pouvoir déménager à la fin de l’année scolaire et non pendant l’école. Nous n’avons pas trouvé. J’ai eu entre temps (2 filles de 21 mois maintenant). Donc il nous faut un grand logement et c’est compliqué de trouver en région parisienne. Nous avons envisagé de déménager à 1h/1h30 de là où nous sommes mais pareil rien trouvé et surtout pour garder nos emplois s’était très compliqué. Car même en changeant d’emploi les payes ne sont plus les mêmes qu’en région parisienne. Ce qui nous a poussé à regarder du côté de Bordeaux qui dans nos métier reste les mêmes payes. Nous avons trouvé une grande maison où les garçons auraient chacun leur chambre et ils sont super content.
Sauf que voilà au moment d’en parler à leur père, il me dit qu’il n’est pas d’accord et qu’il va donc demander la garde des enfants. Sachant que depuis 2 ans il ne paye pas la pension alimentaire (insolvable) et surtout il ne les prends pas du tout (seulement sa mère qui les prend 3/4 week-end par an).
Nous signons le bail de notre maison dans un mois pour un déménagement dans 5/6 semaines (le temps de finir l’année scolaire tranquillement). Mon conjoint a déjà démissionné et continue de passer des entretiens la semaine prochaine. Il a déjà une offre de travail à oral mais rien d’écrit pour le moment. Moi je vais avoir une rupture conventionnelle et vais en profiter pour travailler à mon compte sur Bordeaux (je suis déjà auto entrepreneur en plus de mon travail actuel), pour pouvoir m’occuper des enfants en même temps, du moins la première année et puis par la suite me remettre salarié.
Ai je un risque que le Jaf me retire la garde de mes enfants ?
Quel précaution dois je prendre?