Mon fils refuse d'aller chez son père

Bonjour, j'ai la garde de mon fils de 3 ans et le père à le droit à u weekend sur 2
le problème c'est que c'est autour du père d'avoir son fils ce weekend et mon fils ne veux pas y aller, il a peur. A chaque fois il reste a gripper à moi.
Je ne c'est pas quoi faire, je n'ai pas envie de traumatisée mon fils et l'obligé a y aller.
Que dois je faire?