Droit de visite "libre"

bonjour,
divorcé depuis 4 ans, mon jugement de divorce stipule un droit de visite libre (pas de lieu, pas d'horaire définis), pour ma fille, qui vit habituellement chez sa mère. Nous nous sommes mis d'accord avec mon ex pour que je l'ai un weekend sur deux et la moitié des vacances. Jusque là, tout va bien.
A la suite de fausses accusations, j'ai souhaité ne plus avoir de contact avec la mère de ma fille et je passais donc par mes ex beaux parents pour récupérer ma fille. Au bout d'un an, sa mère a décidé que je devrais aller la chercher chez elle.
Cependant, je ne veux pas y aller car elle ne manquera pas de chercher à m'humilier et à me montrer son mépris en présence de la petite.
A-t-elle le droit de refuser de laisser ma fille à ses parents pour que je puisse la prendre en toute sérénité?
J'ai déposé un dossier auprès du JAF (afin de pouvoir prendre ma fille chez les grands parents) mais il y a 8 mois d'attente et je ne vais pas passer tout ce temps sans voir ma petite...
Par avance, merci pour vos conseils...