Droit de visite et d'hébergement du père

Bonjour,
Mon mari a abandonné le domicile conjugal le soir de noël pour s'installer avec une autre femme. Comme celle-ci n'avait pas de logement à elle, ils sont hébergés chez la tante de cette dernière. Or mon mari a dû suspendre momentanément (cela fait tout de même trois mois) la garde alternée de ses deux aînés (issus d'un premier mariage) car il ne peut pas les héberger chez cette dame. Quant à mon fils de deux ans et demi, j'ai constaté qu'il le fait dormir dans un lit à côté du lit qu'il partage avec sa maîtresse, car le logement est trop petit. Le problème, c'est que pour ne pas déranger la tante de sa maîtresse, ils s'obligent à sortir tout le week end, et notre fils de deux ans a du mal à tenir le rythme, car il a besoin de faire une sieste et de dormir dans de bonnes conditions. Je ne veux pas empêcher mon mari de voir notre fils, mais je veux le mettre en face de ses responsabilités, et je voudrais qu'il attende d'avoir son logement pour exercer son droit de visite et d'hébergement. Dans la mesure où la procédure de divorce n'est pas encore entamée, ai-je le droit de m'opposer à ce qu'il prenne notre fils dans ces conditions?
Merci d'avance, je suis désemparée.