Besoin d'aide partir plus loin de son ex avec un enfant

Bonjour,
Voilà, je suis maman d'un petit garçon de bientôt 8 ans que j'ai eu d'une précédente union.
Je refais ma vie avec un nouvel homme.
J'aimerai vivre près d'Orléans et j'habite actuellement le sud du 92, le papa lui vit à coté de Linas dans le 91, nous sommes à 20km l'un de l'autre aujourd'hui. Ce qui ferait environ 100km.
Actuellement, sur le jugement, la garde est de : tous les mercredis, un week-end sur 2 et la moitié des vacances scolaires.
En vrai, je suis bcp plus souple depuis 4 ans, par ex en ce moment c'est les lundis et jeudis soirs et une semaine sur 2 du mercredi au dimanche.
Mais ce n'est qu'un accord entre nous oral.
Légalement, m'est il possible de partir à 100km de son papa même si je l'arrange, il le verra fatalement moins... si je vais voir le JAF, peut-il refuser ?
Je vous remercie par avance pour vos retours.