Non respect du droit de visite et d'hebergement

Bonjour,
Si je viens vers vous c'est parce que je ne sais plus ce qui est faisable ou non..
Mon fils a 2ans , et quand il a eu 3 mois avec son papa nous avons eu un jugement car je me suis battue pour la garde suite a un conflit dans le qu'elle il portait de fausses accusation sur mon rôle de mère ...
J'ai obtenue la garde tout se passait bien mais ayant des copine a droite a gauche il passe son temps a en présenter de nouvelle chaque week end diffèrent a mon fils, la question n'est pas vraiment la mais pour l'équilibre de mon fils j'ai des inquiétudes.
Depuis peu il ne le prend que quand il a le temps ne l'a pas pris pendant les vacances parce qu'il avait des papier a faire..
Il vit chez son père, adresse mentionnée sur le jugement comme son lieu de résidence, seulement c'est chez son père qui n'accepte plus mon fils il interdit donc au papa du petit de le prendre ne voulant l'accueillir, de plus le papa de mon fils n'a aucun revenus financier et ne veux plus le prendre car il n'a pas les moyen de payer couche produit de toilette nourriture etc... Peut on lui retirer la garde sachant qu'il ne l'a qu'un week end sur 2 et la moitié des vacances?