Droit de visite chez le père

Bonjour,
voila je suis divorcée depuis le mois de janvier .mon mari a la garde de mes 2 grands enfants agés de 13 et 11 ans . Moi j'ai la garde du petit de 6ans .Jusqua présent tout se passait bien ,mis a part quelques petits details mais rien de méchant.Depuis le week end dernier ou je devais ramener les 2 grands a 18h ,il n'était pas là. Je l'ai appelé et la il me dit qu'il ne va arrivé que dans 45min,en plus de ca il refréquente des gens pas très clean.dans cette famille de personne il n'y a que l'alcool qui compte et rien d'autre ,du matin au soir. Donc ce fameux dimanche com je savais qu'il ne serai pas agen je l'ai rapeler pur lui dire que je garderai les petis encore une journee et que je les ramenerai le lundi. il m'a dit ok ,ca ne le derangeai meme pas .Le lundi quand je lui ai ramené ,le ton a monté ,je lui ai dit qu'il etait hors de question que mes enfants connaissent des gens comme ca (moi je les ai connu alors je sais de quoi je parle )et que si ils étaient la quand c'était a son tourd'avoir le petit ,que je lui ferai retirer la garde des enfants .Ce que je veut savoir maintenant c'est si j'ai le droit de ne pas lui donner mon fils ce week end car ces gens viennent chez lui (ce sont mes grands qui me l'ont dit au téléphone).Franchement je n'ai pas du tout envie.Depuis que je suis au courrant de ca j'en suis malade.j'espère que vous allez pouvoir m'aider car je ne sais pas quoi faire .merci