Garde alternée chez les grands parents

Bonjour,
J'ai d autres questions à poser concernant mon fils : Quand son père en prends la garde, les week-ends par exemple ou durant des vacances, il le laisse le plus souvent chez sa mère. A tel point que mon fils passe plus de temps avec sa grand mere paternelle que chez son pere. Est ce normal ? la compagne de mon ex mari ne s'en occupe pas non plus, comment peut il reclamer une garde alternée? Que dois je faire ?
je vous remercie