Droits parentaux

Bonjour, enfaite je vous écrit car je ne sais plus quoi faire et ça me pourri la vie...

J'ai eu un enfant avec un homme on s'est séparé il a reconnaît l'enfant, mais ne s'en occuper seulement un week-end sur deux sois il venait le samedi matin le ramener le soir et revenait le dimanche matin sois il le garder à dormir ( mon fils a 5ans et cela a dû se produire seulement une vingtaine de fois ), jamais pris pendants les vacances, participe à hauteur de 150€ par mois, tout le reste ( frais de nourrice, centre aérer, vacances .. ) reste à ma charge.
Jusque là sa arranger Mr qui vivait chez sa mère.
Seulement depuis septembre il a trouver une copine qui a elle même un enfant. Elle a pousser mon ex à s'occuper de son fils, on a discuter elle et moi pcq Mr ne voulait pas gérer les jours de garde. Mais en décembre il y a incident entre les deux enfants ( plainte pour attouchements sexuel dont mon fils est victime) de la sur conseil de gendarmerie j'ai garder mon fils avec moi mais jamais empêcher le père de venir, ce qu'il n'a jamais fait.
La mère de celui ci venait un dimanche sur deux chercher mon fils pour passer la journée avec lui.

Hors maintenant mon ex me reproche de ne pas le laisser voir son fils, qu'il veut la garde exclusive et m'enlever tout droit parentaux si je lui donne pas à son bon vouloir en attente du jugement.
Je ne sais pas quoi faire j'ai peur que mon fils soit en danger. Et j'ai encore plus peur qu'on m'enlève la garde.

Auriez vous des conseils ? Merci d'avance.