Droits de la belle-famille par rapport aux enfants

Bonjour,
je suis séparée du père de mon fils depuis 2013, nous n'étions pas mariés et j'ai la garde de mon fils(décision de justice le prouvant). Malgré une séparation difficile(violence conjugale, verbale etc), nous avions arrangé nos relations et tout se passait très bien, il voyait son fils quand il voulait, on l'hébergeait même quand il venait le voir jusqu'à ces derniers mois puis on n'a plus eu de nouvelles! nous avons appris qu'il était décédé a son domicile depuis plusieurs jours!! N'ayant plus de contact depuis 2013 avec son frère avec qui je ne m'entends pas, nous nous sommes revus pour les démarches funéraires et autres, ça ne se passe pas bien, en plus, il commence à demander à prendre mon fils chez lui pour les vacances et ni mon fils ni moi nous ne voulons. que puis-je faire, suis-je obligée de lui accorder cette demande,peut-il demander un droit de visite? on est très inquiets et mon fils ne veut pas garder contact avec lui! Je vous remercie pour votre réponse