Comment faire pour faire partir mon concubin du domicile

Bonjour
Je suis maman de 5 enfants et suite à mon divorce je suis resté dans l'appartement où nous vivions avec mon ex-mari.
Je me suis remise en couple et lors de l'arrivée de mon nouveau conjoint, nous avons fait établir un bail à nos deux noms.
Le dossier CAF est à mon nom mais nous sommes déclaré en couple.
Mon conjoint me donne un petit quelque chose tout les mois.
Je veux et surtout il faut absolument que je quitte mon conjoint. Mais voilà, comment faire pour qu'il parte ?
Puis-je lui demander de partir de suite ?
Si dans le cas où il ne veut pas partir et décide de ne plus rien me donner ai-je un recours ?
Comment me déclarer à ce moment là auprès de la CAF ?
La caution m'appartient vu que qu'elle date de l'emmènagement avec mon ex-mari. Je ne peux pas partir ainsi ayant 5 enfants à loger.
Merci pour vos réponses car la situation ne peut plus durer.