La residence alternée se passe mal

Bonjour,
je suis séparée et maintenant divorcée du père de ma fille qui a 6ans, nous sommes actuellement en résidence alternée (1semaine/2), avec un jugement.
mais voila, son père la manipule et la monte contre moi et me dit "qu'elle ne veut jamais venir chez moi", qu'il faut que je réfléchisses à son bonheur au lieu de penser quand moi.... j'ai deja du faire appel une fois à la police afin de pouvoir récuperer ma fille !!! Ma garde se passe tres bien et ma fille est heureuse de venir chez moi tout comme d'aller chez son père. Mais lorsque je dois la recuperer chez lui c'est toujours le meme scenario, et j'ai beaucoup de mal à pouvoir la reprendre.
Il essaye de me manipuler également et ce qu'il voudrait c'est que je lui laisse à temps plein....bref c'est un cauchemar car ca fait plus de 2 ans que ca dure et je n'en peux plus, c'est devenu insupportable.
je ne sais plus quoi faire, je ne veux pas demander la garde et que ma fille ne voit presque plus son père mais la garde alternée se passe tres mal à cause de lui et je ne veux pas non plus que ce soit elle qui "paye les pots cassés".
Si quelqu'un est dans la meme situation ou a deje vécu cela pouvez vous me donner des conseils svp ?
merci