Problème avec le père et problème scolaire

Bonjour,
Je suis séparé du père de mon fils.
Nous avons la garde conjointe et mon fils vit chez moi.
Il voit son père régulièrement pratiquement tous les mercredis et un week end sur 2 et la moitié des vacances scolaires.
Depuis sa scolarisation, (mon fils est en cm2 actuellement), chaque année les professeurs nous signalent qu'il y a un problème de comportement.
Pendant quelques mois j'ai fais suivre mon fils par un psychologue contre l'avis du père qui partait du principe qu'il n'avait pas à raconter sa vie à des étrangers et que le personnel de l'école disait n'importe quoi.
Sans grand résultat vu que la psy m'a dit que si elle ne voyait pas le père elle ne pourrait pas résoudre ses problèmes.
A plusieurs reprises il a fais faire la rentrée scolaire de mon fils avec plus de 10 jours de retards, et c'est moi qui me chargeait de faire tout le rattrapage en ce qui concerne les devoirs. Ce qui n'aidait pas mon fils qui se retrouvait mis à l'écart puisque tous les autres avaient eu le temps de faire connaissance;
Depuis peu, je le fais suivre par une équipe médicale qui s'occupe de problèmes d'enfants et d'ados.
Son père l'a accompagné à une de ces visites et depuis il manque les rendez-vous et dis tout simplement qu'il a oublié.
Depuis je me charge des rendez vous personnellement et je ne lui laisse pas son fils le mercredi afin de pouvoir continuer ce suivi comme il faut.
Il a été convoqué plusieurs fois par l'école.
Ne supportant pas les remarques de quiconque, il me cherche des problèmes pour des bricoles.
M'a contacté plusieurs fois au boulot en me traitant de tous les noms (et là je suis gentille).
J'ai fais les démarches nécessaire auprès du commissariat .
Depuis je ne lui parle plus et la maitresse s'adresse à nous séparément.
Mon fils ne veut pas aller chez lui, chaque mardi quand je le dépose à l'école il a les larmes aux yeux et me demande quand est-ce que je vais le récupérer. Il n'ose pas dire à son père qu'il ne veut pas y aller. Je suis malade à chaque fois que je le vois dans cet état.
Son père le terrorise. Il le harcèle de questions pour savoir qui vient à la maison, ce qu'il a fait quand il était chez moi. Mon fils n'a plus confiance en lui.
Je n'ai aucun moyen de prouver cela. LA SEULE FACON SERAIT QUE MON FILS NE BLOQUE PAS COMME IL LE FAIT ACTUELLEMENT ET QU'IL PARLE AVEC LES MEDECINS QUI LE SUIVENT.
Que puis-je faire ?
Ecrire au Juge des affaires familiales ou au Procureur de la république ??
Merci de me donner des solutions, je m'inquiète vraiment pour l'avenir de mon fils en ce qui concerne sa scolarité et sa vie sociale.
Merci