Changement mode de garde

Bonjour,
Je suis divorcée depuis 9 ans. Nous avons toujours fait la garde alternée pour mon fils de 11 ans.
Mon ex mari est dépressif (séjour en clinique, suivi psychiatre, traitement...). Il est instable psychologiquement.
Mon fils n'est pas en danger physique, mais psychologique. Il est renfermé et s'inquiète pour son père. Son père ne lui porte aucune attention pour les actes de la vie quotidienne. Il lui donne à manger des aliments périmés...
Comment dois-je faire pour changer la garde ? Sachant que mon fils est d'accord, mais il a peur que son père soit en colère et le punisse...et que son père le fait culpabiliser si il l'abandonne.
Je suis perdue, je ne sais pas comment faire pour aider mon fils à avoir une stabilité psychologique