Récupèrer mes enfant ailleurs que chez moi

Bonjour. 

Je suis hébergée, le papa de mes enfants exige de me les ramener où j'habite. 

Perso je ne le souhaite pas. Déjà que ça se passe mal des qu'on se voit, insultes et j'en passe, existe t'il un texte de loi qui dit qu'on peut se voir dans un lieu public pour que je récupère mes enfants (garde alternée) 

Où en tout cas que je suis en droit de refuser qu'il vienne me les déposer où j'habite vu que je suis hébergée.

Je précise également qu'il n'y a pas eu de jugement encore. 

Merci d'avance.