Droit de visite du grand-père maternel

Bonjour,
Je suis séparée du père de mes 2 enfants depuis le mois d'août 2015, et suite à un enchaînement de gros soucis, dont des insomnies et douleurs chroniques dans le dos, suite à mon déménagement, j'ai informé mon père (divorcé de ma mère depuis 40 ans), que je faisais une dépression nerveuse (ma meilleure amie venant de faire un AVC).
Depuis je n'ai plus de nouvelles, et il voit mon ex avec nos enfants derrière mon dos sans mon consentement, sachant très bien que ça me blesse profondément !
Mon fils de 10 ans 1/2 ne veut plus le voir car il sait que ça me fait souffrir et il veut protéger sa maman...
Quel est son droit de visite sans mon consentement, celui-ci refusant de me voir parce que je suis MALADE...?
Pour information, mon propre père n'a jamais été présent qd j'ai rencontré des soucis dans ma vie, seulement qd tt allait bien !!!!!
Mes enfants vont aller passer une semaine chez leur papa aux vacances de printemps, j'en suis ravie, il s'occupe ENFIN de ses enfants au bout de 10 ans !!!!!
Mais j'ai très PEUR qu'il n'aille voir mon père, qui se moque éperdument de savoir que je suis gravement malade...
Quels sont mes droits en tant que maman svp ?
Une amie m'a dit que ce qu'ils faisaient était illégal !
Merci d'avance pour vos précieuses réponses !
Cordialement,