Droit de visite...

Bonjour,
je suis marié et j'ai deux filles agé de 3 ans et de 2 ans, je n'ai plus de relation avec mon pére depuis plus d'un an, avant ça il n'a jamais vraiment pris le temps de les connaître.J'ai reçu une lettre pour une médiation avec lui mais le soucis c'est que je ne souhaite pas lui accorder ce privilége mon pére veut un droit de visite. Que dois- je faire cela me fait peur rien qu'a l'idée qu'on lui accorde se droit ?