Garde alternée à garde classique

Bonjour,

j'ai un petit garçon de 6 ans, j'ai divorcé en 2006 (séparée depuis 2005), une garde alternée avait été choisit.
Entre temps j'ai rencontré quelqu'un, puis me suis séparée en début d'année pour une autre personne.
Depuis mon ex mari, ma famille...ont eu et continuent d'avoir des réactions à mon égard et celui de mon compagnon désastreuses qui par ailleurs perturbent mon enfant.
Mon compagnon a écrit une lettre a mon ex mari quelque peu ironique mais sincère, car un jour il a un peu secouer mon enfant qui avait fait une bêtise ; depuis mon ex mari demande systématiquement à mon fils si mon conjoint le tape (il n'en est rien, de plus cela commence à l'énerver selon ses propres paroles que son père lui pose la question).
Aujourd'hui ce dernier m'a tél. pour me remercier d'avoir divorcer, d'être venu ce matin pour la rentrée du petit (j'avais prévue de lui faire la surprise à la sortie mais je n'y suis pas allée le matin), et par ailleurs m'a menacé de passer par la justice. Il est très possessif envers son fils et après me dit que je ne m'occupe de rien.
Je lui ai dit qu'il n'aurait pas d'adversaires en face de lui, car je ne tiens pas à balloter mon enfant entre juges et avocats et me servir de lui comme monnaie d'échange.
Comment faire ? Puis-je demander une garde classique s' il réitère son chantage...car je ne souhaite pas en arriver là mais je trouve cela dégueulasse de prendre les enfants en otage.