Désaccord et pas de jugement

Bonjour,
je suis séparée du père de mon fils et nous ne sommes pas encore passés devant le juge.
Nous nous étions mis d'accord sur 1 week end sur deux et la moitié des vacances scolaires.
Hors il a des horaires atypiques et travail la grande majorité de ses week end (mon fils l'accompagne ou reste chez mamie). Je trouve que cette situation ne permet pas à mon fils de s'épanouir puisqu'il doit suivre papa et s'adapter.
En attendant le jugement, puis je refuser qu'il vienne chercher mon fils si je sais qu'il travail? Sachant que je lui est proposer d'adapter le dvh à ses horaires. mais il semble qu'il n'ai pas de jour de congé (il travail dans les courses hippiques). le fait qu'il n'ai pas 4 jours à accorder à mon fils ne montre t-il pas un manque d'intérèt?