Droit de visite modalités

Bonjour,
Voilà je suis maman d'un petit garçon de 3ans.
Je me suis faite gentiement "virer" de chez moi avec mon fils par mon ex conjoint afin qu'il puisse vivre avec sa nouvelle compagne qu'il a mise enceinte.
J'ai donc saisi le Jaf afin d'établir des règles pour me protéger et protéger mon enfant.
Le jugement a donc bien été rendu j'ai la garde principale et lui a un droit de visite un week end sur deux avec la moitié des vacances scolaire.
Hors depuis notre séparation il y a 5 mois il me rend le petit plus tôt que prévu afin que le fils de sa compagne puisse jouer dans l'appartement, il oubli de venir chercher le petit a l'école alors qu'il me l'avait demander et le pire c'est qu'il me ment en me disant qu'il travaillais pas sur un de ses week end et à fait garder le petit par sa compagne.
Si cela se passait bien je n'y verrai pas d'inconvénient hors mon fils revient avec des terreurs nocturne et il refuse de voir son père me dit constement ne pas vouloir le voir ni lui ni elle a 3 ans je précise, il hurle pour pas partir avec lui et quand je le récupère je met 3 jours à récupérer mon fils sans crise de larmes pour un oui pour un non et j'en passe.
Constat que sa maîtresse a pu également faire ainsi que beaucoup de personne de son entourage.
Quel recourt existe t il pour protéger mon fils face à cette situation ?
Il doit partir une semaine entière chez eux sachant qu'ils se dispute en permanence car son colocataire étant mon meilleur ami ma bien préciser qu'il y a de la violence verbale et physique entre les 2 et j'ai peur que cela se passe devant mon fils. Et sachant qu'il n'a pas obtenu ses vacances et que c'est elle qui va garder mon fils la plus grande parti de la semaine.
Je suis en totale détresse.
Merci d'avance pour vos réponses.