Bail solidaire et séparation: qui doit partir

Bonjour,
Nous sommes tous les deux sur le bail, et mon conjoint veut me mettre à la porte et garder l'appartement. Nous avons deux enfants mais nous ne sommes pas mariés.
Qu'est-il possible de faire pour que ce soit lui qui quitte l'appartement et non moi. Il veut garder l'avantage d'un loyer peu cher pour une belle surface.