Partir à l'étranger avec son enfant?

Bonjour,
je souhaiterais m'établir à l'étranger (Afrique de l'Ouest) avec mon fils de 9 ans, car j'ai l'opportunité d'un très bon emploi qui se présente.
Par rapport à mon fils, les relations avec son père sont très mauvaises, depuis tout petit il ne veut plus alller chez ce dernier, pourtant j'ai tout fait pour essayer de maintenir des liens à peu près corrects. Cela fait 6 ans que mon fils est suivi par un pédopsy et les services sociaux, son père est alcoolique, très agressif (pas de maltraitance), et sa nouvelle épouse est également très dure... Bref, j'ai obtenu du JAF un premier délibéré qui permet à mon fils de ne plus être hébergé chez son père les nuits, qui n'autorise pas le père à véhiculer son fils comme passager, et qui enfin m'autorise à ne pas remettre l'enfant à son père si je constate que celui ci manifeste un état d'ébriété quand il vient le chercher. Ce délibéré n'a pas été accepté par le père, qui depuis refuse de voir son fils (depuis 4 mois...) si celui ci ne reste pas dormir chez lui.
Par rapport à mon éventuel départ, il est évident que si j'en fait mention au père, celui ci s'y opposera par principe, étant dans l'optique d'un conflit contre moi plutôt qu'une réflexion sur le bien être de l'enfant.
Mon fils est déjà parti avec moi en Afrique, il souhaite sincèrement s'y établir aussi, et manifeste surtout son désespoir à l'idée d'être "obligé" de continuer à aller chez son père. La Juge s'opposant formellement à recevoir et entendre l'enfant, selon elle trop jeune pour être capable de "discernement", j'ai pris conseil auprès de mon avocat, mais celui ci s'avère peu capable de me conseiller quand à ce départ.
Il est bien évident que je ne cherche absolument pas à couper les liens entre mon fils et son père, celui ci les ayant coupé déjà par son attitude envers son fils, mais je me refuse également à laisser passer une opportunité de changement pour nous (c'est un contrat d'un an), alors que rester ici ne signifie pour l'enfant que souffrance, que les relations avec son père ne font qu'empirer et qu'il refuse violement de s'y rendre.
De ce fait, ayant pris la décision de partir tout en informant le père du départ et en lui notifiant notre adresse une fois sur place (sur les conseils de mon avocat), je voudrais savoir les risques encourus au niveau du non respect de l'autorité parentale conjointe?
Mon avocat m'a dit que je ne risquais pas "grand chose", car l'enfant est à ma charge et résidant avec moi, tout au plus le seul risque serait, selon l'avocat toujours, que le père ressaisisse le JAF, mais qu'il n'y a pas possibilité de plainte pour "enlèvement" puisque l'enfant à toujours sa résidence avec moi...
Cela me semble un peu léger comme conseil, et je voudrais avoir vos avis? Je ne voudrais pas qu'un départ qui nous enchante puisse tourner au cauchemerd...