Père ou géniteur ?

Bonjour,
Je vous explique mon problème en esperant que quelqu'un pourra me conseiller... ou au moins comprendre ma vision des choses, car j'ai l'impression de devenir folle!!!
jeune maman de bientot 21 ans, mon petit garçon a 3ans et demi, et je suis séparée de son père depuis ma grossesse, a cause de son passé tumultueux, c'est un peu compliquée, mais, je l'ai rencontrée alors que j'avais 16ans, et en pleine crise d'adolescence ...
Il avait à l'époque 32 ans et m'a "reccueillie". Entres, squats, drogues et alcools, je suis tombée amoureuse et n'ai vu en lui, que le protecteur, alors qu'il n'etait qu'un grand drogué, avec un casier judiciaire proche des 30 condamnations, (qu'il a agrandi depuis)et qui surtout, a de grandes defaïences psychologiques dues, je pense, a une consommation excessive de drogues en tout genre! ( se dit faire partie de la mafia, et avoir des soldats... - -').quand je suis tombée enceinte, j'ai ouvert les yeux et choisie un avenir pour mon bébé et moi, je l'ai donc quitté, il est retourné en prison et à sa sortie, nous avons discuté, j'ai essayer de lui faire entendre raison, en pensant qu'il allait enfin se calmer et se faire soigner... apres quelques belles paroles, j'ai compris qu'il n'en avait aucune envie, donc apres avoir accouchée, je me suis orientée vers un foyer jeune mère avec mon tresor. J'en suis sortie, il y a tout juste un an, sauf, que depuis peu seulement, il avait voulu, voir son fils regulierement, apres quelques visites mediatisées, le Jaf, lui a autorisé des droits de visite tout les lundis matin ( jour d'ecole, en plus) , (sans aucunes obligations de pensions alimentaires) mais il ne les a jamais honorés, on se croisent par hasard, en ville, il embrasse son fils, le ton monte au passage et repart comme si de rien etait...j'ai donc demandé une AEMO, afin de m'aider a gerer ce contexte, apres moult courriers et appels sans reponses, hier a été prononcé, la fin de la mesure, jugée inutile. On me renvoie une fois de plus, devant le JAF, pour modifier ses droits de visites libre en mediatisé ( car, je n'ai aucune confiance en lui, il se drogue toujours et a un discours incoherent, la police est même venue le rechercher à ma porte...)bref, je ne sais pas quoi faire, mon petit garçon le récclame sans cesse et pour ne pas lui faire plus de mal, je trouve sans cesse des excuses a son pere... j'en ai marre de devoir trouver les mots, alors que, je ne les trouve même pas pour moi, et me justifier cette situation, j'ai sans cesse peur de ne pas être assez objective et d'inquieter mon petit, qui n'est pas dupe et se rend bien compte que je lui cache des choses. Et, pourtant, je ne veux pas priver mon enfant de son père, seulement le protéger de tout ses exces.