Probleme de compréhension

Bonjour,
Voila je suis divorcée avec 2 enfants à charge, je me suis retrouvé un partenaire qui a de son coté 2 enfants également mais uniquement 1 week'end sur deux et la moitiée des vacances.
Depuis je suis enceinte d'un enfant en commun à venir dans 2 mois.
Or il habite sous mon toit mais le logement reste à mon nom seul ne sachant pas si cela va fonctionner en habitation commune.
Or la caf me l'a rattaché sous mon compte alors que nous avons notre salaire chacun et nos fraits à payer, factures, assurances, moi pour mes enfants et lui pour les siens, cela n'a rien à voir avec un couple basic chacun paye de son coté nous ne souhaitons pas etre considéré comme vie maritale ou autre juste comme conjoint habitant sous le meme toit sans dépendre de l'autre.
Là ils prennent nos revenus communs alors qu'il ne m'aide pas du tout financierement et inversement nous avons notre indépendance chancun

Comment faire???
Merci pour vos retour.