Attaque en justice des grands parents

Bonjour,

Voilà 6 ans que mon père ne souhaite plus me voir, depuis la naissance de mon premier enfant.
Suite à un accrochage insignifiant il n'a plus jamais souhaité avoir de contact familial avec nous.
Nous n'avons donc jamais eu de nouvelles, ni pour les anniversaires ou à Noël, ni pour la naissance de notre deuxième enfant, bien que nous l'en ayons informé.

Aujourd'hui il revient vers nous en exigeant qu on lui dépose ses petits enfants chez lui, pour qu'il les voit.
Nous lui avons expliqué que nous étions tout à fait d'accord pour qu'il voit nos enfants tant que nous étions intégrés à la relation nous aussi. Ils sont petits (3 et 6 ans) et cela nous semble sain de partager ces moments nous aussi en tant que parents, d'autant que nos enfants ne le connaissent pas. De notre côté nous n'avons pas de problème a le voir mais c'est lui qui refuse d'avoir un lien avec moi.
Nous l'avons donc invité chez nous pour les voir, mais il refuse et déclare que nous lui faisons du chantage en souhaitant être avec nos enfants. Il a donc décrété qu'il nous attaquera en justice pour les voir alors que c'est la première fois en 6 ans qu'il se soucie d'eux et refuse de nous voir avec eux.

À partir du moment où c'est lui qui refuse de les voir en notre présence, sa procédure est elle justifiable ?
Merci