Mon fils gardé par les beaux parents de mon ex

Bonjour,
Suite à notre séparation l'année dernière, j'ai mon fils de 5 ans avec moi et son papa a un droit de garde un week-end sur deux et la moitié des vacances (il a refusé la garde alternée).
N'ayant pas voulu/pu poser de congé cet été, ce sont les parents de sa petite amie qui vont garder mon fils.
Cela m'inquiète car je ne les connais pas.
Mon ex a t'il le droit de confier notre fils a ses beaux parents ?
Merci de m'éclairer...