Garde d'enfant

Bonjour,
J'ai un petit garçon de 3 ans nommé Nathan et je suis séparée, j'ai la garde principale mais nous avons l'autorité parentale conjointe avec mon ex.
Lors des week-end de garde de son père, Nathan les passent pas avec son père (car celui ci ne peux pas s'en occupé) mais avec ses grands parents. Le problème c'est que Nathan ne veux plus allez avec eux, il se plaint des fessés de son grand père et a des attitudes bizarre pour un enfant de 3 ans, par exemple l'autre jours il est rentré d'un de ces week end avec la solution de mettre son bavoir coincé sous son assiette pour éviter que la nourriture tombe par terre!! Il m'a dis que sinon il allai se faire gronder... Son grand père a des TOC concernant la propreté...
Je ne sais pas quoi faire?
Les grands parents peuvent-ils le récupérer sans mon accord?