Droit de visite et autorité parentale exclusive?

Bonjour, je vous présente ma situation brièvement: je suis divorcée et j'ai obtenu lors du jugement l'autorité parentale exclusive pour mes 2 enfants mineurs car mon ex-mari a abusé de notre fille aînée, il a été jugé coupable. Il avait quitté la région, j'en étais soulagée et nous commencions à reprendre une vie "normale...mais il vient de revenir vivre dans notre petite ville et au téléphone a dit à mon dernier qu'il vivait tout près de son école, qu'il pourrait peut être le voir jouer en récréation! Comprenez mon angoisse, sachant qu'il n'a plus rien ici ( il avait vendu son entreprise, seule attache), je ne sais finalement pas quel droit il a: peut-il récupérer les enfants à la sortie de l'école par exemple? Je n'ai aucun document qui stipule clairement ses droits et les miens. Ce qui est noté dans le jugement est qu'il pouvait faire la demande de visite médiatisée, ce qu'il n'a pas fait. Je n'ai aucun justificatif à donner aux écoles. Pour le moment, il n'a rien tenté mais je ne suis pas tranquille et ne laisse plus aucune autonomie à mes enfants (l'un est au collège), me dépêche de sortir du travail pour les récupérer à la sortie des cours etc. J'ai du les prévenir de se méfier de leur père et leur rappeler de ne surtout pas partir avec lui, ni monter à son appartement pour une éventuelle visite etc.
Pouvez-vous me renseigner, s'il vous plaît. J'attends votre réponse avec impatience.
Cordialement