Droit d'hébergement

Bonjour
Mon ex-conjoint n'a plus de logement depuis 2 mois et vit chez des amis. Puis-je refuser de lui laisser notre fils le week-end ou pour les vacances tant qu'il n'a pas de logement? Mon fils dort dans la chambre d'un autre enfant et revient fatigué du week-end.
Si j'ai le droit de refuser de le lui laisser, quelles démarches dois-je entamer en attendant, sachant que je ne souhaite pas saisir le juge puisque c'est une situation que j'espère temporaire.
Merci d'avance de votre réponse