Interdire les grands parents de voir leur petit enfant ?

Bonjour, j'espère nombreux que vous serez à me répondre, lisez bien l'intégralité pour mieux comprendre.

Nous sommes un jeune couple depuis +3ans avec un bébé, nos parents se sont mis ensemble (la mère de ma compagne et mon père), depuis leur relation, Sa n'arrête pas d'amplifier les problèmes et veulent absolument voir notre fils tout le temps sauf que moi je ne veux pas, la raison ? Mon père est alcoolique et quand il s'énerve il casse tout il tape tout et la mère de ma compagne éduque très mal ses enfants, monte les gens les un contre les autres , alors comment voulez vous que je leur fasse garder mon fils chez eux ? Je veux pas que mon fils voit tout ça et ne les connaissent pas ...

Donc la mère de ma compagne veut porter plainte contre moi parce que je ne veux pas leur laisser voir notre fils...
Et de plus ils ne vivent pas ensemble légalement, Ils ne sont pas déclarés à la CAF! (Ils nous ont dit c'est mieux de ne pas travailler et d'avoir des sous gratuitement) Pas d'assurance maison!!! Conduite sans permis!!!!

Donc ma question est il vraiment possible d'interdire les grand parents de voir avec ce que j'ai dit ? (Mon père alcoolique et violent, Ma belle mère incapable d'éducation, Non déclaré à la CaF..)

PS: Je sais l'histoire est très compliqué