Horaires et garde alternée

Bonjour,
Voilà ma situation pas si complexe mais très ennuyeuse ...
Séparé depuis plus d’un an et avec mon ex nous avons décidé une garde alternée qui a été accepté auprès du tribunal.
Je travaille en horaires décalés 5h12h et la semaine de mon fils j’emmène celui ci à 4h30 chez son grand père qui habite à 1,5km de mon domicile ce qui lui permet de se rendormir immédiatement. Mais voilà maintenant que mon ex veut me causer du tord vis à vis de ces horaires et n’accepte pas que son fils soit réveillé à cette heure ci et me menace maintenant de m’enlever la garde pensez vous qu’il puisse faire quelque chose pour ça?