Garde d'enfant

Bonjour, je suis séparé de mon conjoint depuis quelques mois et nous faisons la garde partagée sans accord de juge ni qui que ce soit, je suis arrivé dans la région de mon conjoint il y a 4 ans, je n'ai ici, ni famille, ni ami, ni travail (il m'a coupé de tout). Maintenant je me retrouve seule à assumer une maison qui n'est pas dans mes moyens, je touche mon rsa 600euros par mois qui ne me permet pas de vivre correctement. Ma famille me propose de revenir vers chez moi et m'aider pour reprendre une vie normale avec un travail et des liens sociaux. Ai je le droit de repartir avec mes enfants? Que peux il faire si je m'en vais sans son accord? Il ne s'occupe pas forcément très bien des enfants, pas de douche d'une semaine, pas de brossages de dent, poux qu'il ne traite pas et qu'il fait passer aux enfants pour des moucherons par exemple. Il traîne chez des gens pas fréquentable ou traîne alcool, fumé, et langage plus que douteux... Ce qui me pousse aussi à repartir petit à petit, mais je n'ai aucune preuve réelle à part là parole de mes enfants et ce qu'il me dit oralement. Que puis je faire?