Droit de garde d'un adolescent

Bonjour,
Je suis une maman de 40 ans et j'ai deux fils, l'un de 5 et l'autre de 16 ans (dans 8 jours). J'ai la garde de mon fils aîné depuis qu'il a 3 ans. Ces 3 dernières années, j'accumule les difficultés avec mon fils aîné, travail scolaire en grande baisse, comportement très moyen à l'école, tentative de rebellion à la maison... aujourd'hui, il sèche les cours quasiment chaque jour (il est en seconde), il n'est pas rentré dormir chez moi une nuit, a dormi, à priori chez un copain (j'ai prévenu la police bien sûr), fréquentations difficiles (joins) ses résultats scolaires sont catastrophiques, il me répond, fait n'importe quoi, bref cela va de plus en plus mal et je n'en peux plus. Solution envisagée d'un commun accord avec son père, que son papa "prenne le relais" et qu'il aille finir sa seconde et sa scolarité chez lui (je réside à ROUEN, lui à ANTONY dans le 92). Je lui verserais une pension, et droit de visite (bref nous inversons les rôles) Avons-nous obligatoirement besoin de passer devant le Juge aux AF ? Pour être clair, nous ne savons pas comment ce changement va se passer et nous ne souhaitons pas légaliser cela dans un premier temps au cas où ?
Merci de votre réponse