Droit de visite et d'herbergement

Bonjour,
Je suis séparé de la mère de mon fils depuis 9 mois. D'un accord commun nous sommes passés devant le juge aux affaires familiales pour qu'il statue sur la garde du petit.
Nous avions demandé à ce que j'exerce un droit de visite un weekend sur deux et un mercredi sur deux (quand je ne l'ai pas le weekend ).
Il y a trois semaines en jouant avec mon fils ( je te tiens tu me tiens par la barbichette) il m'a mis une claque sur le visage et je lui ai rendu assez forte et je l'ai marqué au visage.
Dans le même temps sa mère a appris que j'avais commis des infidélités lors de notre union, elle n'a pas apprécié et a dépose plainte contre moi pour la claque que j'ai mis à mon fils.
Au niveau pénal j'ai un rappel à la loi, car je n'ai pas commis des violences habituelles sur mon enfant. Seulement sa mère par l'intermédiaire de son avocate a déposé une requête auprès du JAF pour que je n'ai plus le droit d'hébergement et un droit de visite un samedi sur deux semaines en la présence du personne digne de confiance. Elle explique qu'il est en danger avec moi car j'ai tendance à être violent.
Je trouve cette demande inappropriée à la situation car je n'ai jamais commis de violences sur mon enfant. De plus il y a 9 mois quand elle a fait sa requête elle n'avait pas évoque ce problème.
Est ce le JAF peut aller dans le sens de la mère de mon fils?