Autorisation parentale

Bonjour,
voila je suis divorcé et mon ex mari est sénégalais. Nous avons eu un enfant ensemble qui a 5 ans aujourd'hui. Mon fils est français tout comme moi et son papa sénégalais et a un titre de séjour de 10 ans. Il m'a demandé de lui faire une autorisation pour qu'il puisse emmener notre fils au sénégal en juin (mais je ne suis pas trop pour). Voici mes questions: où dois-je aller pour faire cette autorisation si jamais je venais a accepter de lui laisser notre enfant pour partir?? Et si moi un jour je décide de quitter le territoire français dois-je aussi avoir son autorisation sachant que lui n'est pas français et que mon fils lui l'est et a un passeport français. Le jugement fixe la résidence de l'enfant à mon domicile et son père a un droit de visite et d'hébergement les 1er 3eme et 5eme week end de chaque mois ainsi que la moitié des vacances scolaires. De plus, il m'a menacé si je refusais de passer devant le juge des affaires familiales, croyez vous qu'il y ai une chance si moi je refuse que le juge lui accorde alors que notre enfant a école à cette période la et que ce n'est pas le moment de garde de son père?? Merci d'avance de votre aide