Il m'impose de n'avoir ma fille que la semaine

Bonjour,
je suis séparé et en garde exclusive pour ma fille de 6 ans.
Mon ex compagnon étant dans le médical j'ai accepté de faire stipuler sur l'acte de mode de garde pour le père : "Mr exercera son droit de visite et d'hébergement les fins de semaines et mercredis ou il ne travaille pas , charge a lui de prévenir au un mois a l'avance Mme des périodes et horaires" afin de moduler ceux ci en fonction de ces gardes, n'ayant pas de contrainte de mon côté.
Mais depuis c'est l'enfers, il s'est arrangé pour ne quasiment plus travailler les weekend et me dis que comme c'est noté dans l'acte, quand il travaille pas il est dans son droit d'avoir sa fille.
le mois dernier je n'ai eu aucun weekend avec ma fille.
Mon avocate me dit que ce n'est pas normal mais que cela sera très long pour passer a nouveau devant un juge. Et la médiation j'ai déjà fait à la séparation il a envoyé boulé tout le monde.
Est ce que je suis dans mon droit si je refuse qu'il prenne notre fille plus d'un weekend sur 2 ?

Merci pour l'aide que vous pourrez m'apporter, je suis coincé alors que j'ai fais de mon mieux pour l'arranger au départ.