Fausse accusation non présentation d'enfant

Bonjour,
Alors voilà, le jugement précise que j'ai la garde des enfants et que mon ex a un droit de visite le week end. Mais étant donné que Monsieur ne peut s'empêcher de m'insulter chaque fois qu'il me voie et ce en présence de mes enfants, c'est maintenant ma mère qui les lui remet. Mais il m'a écrit pour me dire que c'était à moi de les lui donner, que sinon il n'avait pas le droit de les prendre. J'ai peur que la prochaine fois lorsque ma mère lui donnera les enfants il ne les prenne pas et aille directement porter plainte pour non présentation d'enfant, ce serait bien son genre. Donc ma question est à t'il le droit d'exiger que ce soit moi qui lui remette les enfants ? Et si non, comment puis je me couvrir en cas de fausses accusation ?
Merci pour ceux qui auront lu, je suis perdu et j'ai besoin de réponses.