Garde de mon loulou

Bonjour à tous,
Actuellement je suis séparé du papa de mon fils depuis plus de 2 ans. Je suis passé en jugement pour la garde de mon loulou en mars 2016. le jugement à été établi fin mars. Dans le jugement il devait avoir uniquement des droits de visite un samedi sur deux de 13hà 17h pendant deux mois. Puis tout les samedi de 10h à 17h. Sauf que son papa n'as respecté le jugement qu'à 3 reprise. Et depuis cela fait maintenant 3 mois que mon fils ne l'as pas revu. Aucune nouvelle de sa part bien sûr, aucun message, aucun appels. J'ai reçu un appel de sa part ce matin. Il me dit qu'il veux retourné au tribunal pour avoir la garde exclusive de notre fils. Depuis sa naissance il n'as subvenu à aucun de ses besoins, physiquement et financièrement parlant. J'ai toujours élevé mon loulou seule, aujourd'hui j'ai refait ma vie et j'ai eu une petite fille. Après ma séparation avec le papa de mon loulou il as continuer de venir le voir pendant environ 5 à 6 mois. Puis tout ses dégradés, notre entente, etc.. Impossible de rester plus de 10 minutes dans la même pièce sans insultes ou cris. Donc son papa a arrêter de venir le voir (je ne lui est jamais interdit de le faire). Il est rester sans le voir pendant plus de 8 mois. Après nous avons eu le jugement. Il s'y est donc tenu à 3 reprise, depuis plus rien. Et il reviens aujourd'hui comme une fleur, se rendant compte qu'il as un enfant, en me disant qu'il veux avoir la garde exclusive.
Voici donc ma question, que puis-je faire? Mon loulou rentre à l'école demain pour la première fois. Je suis un peu perdue et un peu peur qu'il ne vienne à l'improviste prendre mon fils..
PS; Son papa n'as pas de logement et vie chez ses parents ou encore chez ceux de sa conjointe. Bien entendu pas de travail non plus..
Je voudrais une vie seine et épanouie pour mon loulou.. Pas une vie ou il doit vivre chez plusieurs personne sans repère fixe..
Merci de votre aide..