Droit de visite et d'hébergement

Bonjour.
Sur le jugement il est écrit que le père doit venir chercher ma fille a mon domicile. Or je travaille et elle est gardée chez une nounou. Jai prévenu le père par mail, il connaît la nounou, je lui ait redonner l'adresse mais il me menace de porter plainte .. suis je dans mon droit ?