Droit de visite

Bonjour,
Je suis en couplé depuis quatre avec un monsieur. Il est divorcer et a un petit garçon de 3 ans
Mais voilà lors du divorce il n'a pas eu de jugement concernant ce petit garçon pour le droit de visite seul un accord a l'amiable avec la maman
Donc à chaque fois que le petit garçon vient chez le papa elle exige que je ne soit pas présente sinon elle refuse de donner ce petit garçon en week-end au papa et moi à chaque fois je doit partir
Monsieur a envoyé un mail au juge des affaires familiales pour que soit établis un droit de visite mais aucune réponse
Que devons nous faire