Retrait autorité parentale

Bonjour,
J'aurais besoin d'avis concernant mon histoire. Je suis maman d'un garçon de 11 mois, le papa m'a quitté a 7 mois de grossesse pour se mettre avec une autre personne. 2 mois après la naissance de notre fils il a mis enceinte sa nouvelle copine. Depuis le début il ne s'occupe pas des besoins, de l'éducation de notre fils. Je m'en occupe seule. Il vient le voir 1 fois tous les 3 mois car je cite " j'ai trop de travail donc je fais comme je peux", en sachant qu'on habite à 45 min et qu'il a 2 jours de repos dans la semaine. Il demande des nouvelles toutes les semaines mais les messages sont copiés collés. Il a demandé la garde alternée mais je pense que c'est sa famille qui l'a poussé. C'est un papa très absent, même quand il vient le voir il reste 1h voir 2h car il est très fatigué d'après lui, il promet des choses à notre fils mais bien évidemment les promesses s'envolent. L'autre jour je l'ai croisé où je vis en promenade avec sa copine et son nouveau bébé, il n'est pas venu dire bonjour à son fils ni même lancer un regard comme si c'était un inconnu qui passait à côté, ça m'a fait énormément mal pour notre fils. J'en viens à ma question je souhaite lui enlever l'autorité parentale j'aimerais savoir si mes raisons sont justifiées??? Je ne veux pas que mon fils soit perturbé par son père tous les 3 mois. J'espère que ce ne sera pas trop long et j'espère que quelqu'un pourra me donner son avis sur ça.