Peur de perdre mon fils

J'ai laissé un seul des garçons car le père du plus jeune est celui de mon conjoint actuel.
Je ne voulais donné l'impression de le juger, juste expliquer des faits.
Pendant 17 ans il a bu uniquement lors des soirées entre footeux ou en boite. Un peu avant et après la séparation, il buvait au point de ne plus pouvoir rentrer à la maison. Il était vraiment sur la mauvaise pente, je lui ai donc conseillé de retourner chez ses parents pour être entouré ce qu'il a fait et il a pu reprendre sa vie en main. En passant devant le juge, j'ai accepté toute ses demandes (pension, DVH). J'avais un dossier sur lui que je voulais montrer au juge état de la voiture, appart insalubre) mais je ne l'ai pas fais car je me disais que c'était son fils. Je voulais lui retirer l'autorité car j'avais peur pour mon fils vu l'état de sa voiture et son état psychologique. Mais quand je les ai vu (père et grand-père de mon fils) au tribunal, je me suis ravisée.
Juste pour info, quand je suis partie, je lui ai laissé l'appart que j'avais loué pour moi et pour mon fils. Je suis revenue la 1ère fois (coupure d'eau, vaiselle pas faite, poubelles pas jetées, bouteille d'alccol par terre...) et quand je sui revenu pour l'état des lieux , j'ai passé 4 jours à le nettoyer, j'ai dû payer les factures et changé la serrurre car il l'avait forcé. j'ai des photos qui prouvent mes dires. Et pourtant, je n'ai rien dis, ni au juge ni à ses parents. J'ai eu beaucoup d'occasions pour l'enfoncer, mais je n'ai rien fais car je pensais à mon fils.
En 4 ans, je pensais avoir construit une relation de confiance. Je pense avoir toujours été correct avec lui.
En fait, je suis partagée entre l'envie de le récupérer car je veux qu'il grandisse avec son frère qui a aussi besoin de lui et l'envie de le laisser à son père s'il veut vraiment rester là-bas. A plusieurs reprises, j'ai parlé de garde alternée, mais il n'a rien fait en ce sens. Maintenant qu'il travaille, ce n'est plus possible et on ne peut pas faire 2 heures de route par jour.
Quand il me dit "je te le ramène mardi après 21h" et qu'il ne le fait pas ou" je ne peux pas faire le trajet après le travail" alors que c'est ce qu'il va faire ce soir si ce ne sont pas des mensonges, c'est quoi ?
Je lui ai laissé pendant 5 mois car c'est son père, que malgrés ce qui c'est passé c'est un bon père et qu'il a changé.
Comme je l'avais expliqué, j'ai dû faire le déménagement seule et je ne voulais pas trop pertuber mon fils ainé avec les cartons et tous les kms que j'ai pu faire, je n'était pas très disponible pour le scolaire et les activités sportives.
Je reconnais que j'ai eu tord de ne pas m'être imposé de le prendre plus souvent lors de ces 5 mois, mais je me disais qu'ils avaient besoin de passer du temps ensemble car dans ma tête je devais le récupérer fin août.
Pour finir, je pense qu'il aurait plus correct d'essayer de trouver un accord ou d'en parler plutôt que de me mettre devant les faits. Avec sa manière de faire (que je ne puisse pas le voir avant la rentrée et 1 mois après, il me le laisse), on peut penser qu'il ne fait pas cela pour le bien de son fils mais pour le sien car il ne veut pas se retrouver seul avec son amie, ce que je peux comprendre.