Maîtresse de mon mari et mes enfants

Bonjour,
Mon mari a annoncé à nos enfants qu'il projette de les emmener en vacances avec sa maîtresse en août. Nous sommes toujours marié et aucune procédure ni de divorce ni de séparation n'a été entamé. Il vit actuellement dans un appartement nous appartenant à tous deux. Puis-je m'y opposer ? Je suis un peu désespérée car il a un comportement odieux et insultant avec les enfants. Merci par avance.